편향 & 분산

머신러닝 모델은 데이터를 학습하여 예측을 수행한다.

하지만 모델의 학습 방식에 따라 성능이 크게 달라질 수 있다.

대표적으로 과소적합(Underfitting)과 과적합(Overfitting)이라는 두 가지 문제가 발생한다.

그리고 이러한 현상의 원인을 설명하는 개념이 바로 편향(Bias)과 분산(Variance)이다.

---

1. 과소적합(Underfitting)이란 무엇인가

과소적합은 모델이 데이터의 패턴을 충분히 학습하지 못한 상태이다.

모델이 너무 단순하여 중요한 특징을 놓치게 된다.

• 훈련 데이터에서도 성능이 좋지 않다.
• 테스트 데이터에서도 성능이 좋지 않다.
• 모델의 표현력이 부족하다.

즉, 문제 자체를 제대로 이해하지 못한 상태라고 볼 수 있다.

---

2. 과적합(Overfitting)이란 무엇인가

과적합은 모델이 훈련 데이터에 지나치게 맞춰진 상태이다.

훈련 데이터의 작은 노이즈나 우연한 패턴까지 모두 학습해 버린다.

• 훈련 데이터 성능은 매우 높다.
• 새로운 데이터에서는 성능이 급격히 떨어진다.
• 모델 구조가 지나치게 복잡하다.

즉, 데이터를 외운 것에 가까운 상태이다.

---

3. 편향(Bias)과 분산(Variance)이란 무엇인가

편향(Bias)

편향은 모델이 문제를 얼마나 단순하게 가정하는지를 나타내는 정도이다.

• 편향이 크면 모델이 너무 단순하다.
• 데이터의 패턴을 잘 학습하지 못한다.
• 과소적합이 발생하기 쉽다.

분산(Variance)

분산은 모델이 데이터 변화에 얼마나 민감한지를 나타내는 정도이다.

• 분산이 크면 모델이 너무 복잡하다.
• 훈련 데이터에 강하게 맞춰진다.
• 과적합이 발생하기 쉽다.

---

4. 편향과 분산의 관계

편향과 분산은 서로 반대되는 성질을 가진다.

• 모델이 단순할수록 → 편향은 커지고, 분산은 작아진다.
• 모델이 복잡할수록 → 편향은 작아지고, 분산은 커진다.

이를 편향-분산 트레이드오프(Bias–Variance Tradeoff)라고 한다.

두 값을 동시에 최소화하는 것은 어렵기 때문에 적절한 균형을 찾는 것이 모델 학습의 중요한 목표이다.

 

---

5. 정리

• 과소적합은 모델이 너무 단순해서 발생한다.
• 과적합은 모델이 너무 복잡해서 발생한다.
• 편향은 모델의 단순함 정도를 의미한다.
• 분산은 모델의 민감함 정도를 의미한다.

좋은 모델이란 편향과 분산이 균형을 이루는 상태라고 볼 수 있다.