모델 크기를 키워도 성능이 둔화되는 이유

대규모 언어 모델은 일반적으로 모델 크기가 커질수록 성능이 향상된다.

하지만 일정 수준 이상에서는 모델을 계속 키워도 성능 향상이 점점 줄어드는 현상이 나타난다.

이러한 현상을 성능 둔화 또는 한계 구간이라고 볼 수 있다.

---

1. 데이터의 한계

모델이 아무리 커져도 학습 데이터가 부족하면 성능 향상에 한계가 생긴다.

• 학습할 수 있는 정보가 제한됨
• 중복 데이터 증가
• 새로운 정보 부족

즉 모델 용량보다 데이터가 부족하면 학습 효율이 떨어진다.

---

2. 학습 효율 감소

모델이 커질수록 추가된 파라미터가 성능 향상에 기여하는 비율이 감소한다.

• 초기에는 성능이 크게 향상됨
• 점점 증가폭이 줄어듦
• 추가 비용 대비 효과 감소

즉 일정 수준 이후에는 더 많은 자원을 사용해도 얻는 이득이 작아진다.

---

3. 과적합 문제

모델이 지나치게 커지면 학습 데이터에 과도하게 맞춰지는 문제가 발생할 수 있다.

• 훈련 데이터에는 높은 성능
• 새로운 데이터에서는 성능 저하

이로 인해 실제 활용 환경에서는 기대보다 낮은 성능을 보일 수 있다.

---

4. 연산 비용 증가

모델 크기가 커질수록 학습과 추론에 필요한 연산 비용이 크게 증가한다.

• GPU/메모리 사용량 증가
• 학습 시간 증가
• 서비스 비용 증가

이러한 비용 대비 성능 향상이 작다면 비효율적인 선택이 될 수 있다.

---

5. 정리

모델 크기를 키우는 것은 성능 향상에 도움이 되지만, 일정 시점 이후에는 효과가 점점 줄어든다.

이는 데이터 한계, 학습 효율 감소, 과적합, 비용 증가 등의 이유 때문이다.

따라서 단순히 모델 크기를 늘리는 것이 아니라, 데이터 품질과 학습 방식 개선이 함께 고려되어야 한다.