손실함수(loss function)

손실 함수(loss function)란?

머신러닝 모델은 입력값을 받아 예측을 수행한다.

하지만 예측이 얼마나 잘 되었는지를 판단하지 못하면 모델을 개선할 수 없다.

이때 사용되는 것이 손실 함수(loss function)이다.

손실 함수는 모델의 예측값과 실제값 사이의 차이 즉 오차(error)를 수치로 표현하는 함수이다.

---

1. 손실 함수의 역할

머신러닝에서는 각 데이터에 대해 발생한 오차를 계산하고, 이 오차들을 종합하여 하나의 값으로 만든다.

• 하나의 예측에서 발생한 차이는 에러(error)이다.
• 모든 데이터의 에러를 종합한 값이 Cost이다.
• 이 Cost 값들의 평균을 손실 함수(Cost Function)라고 한다.

즉, 손실 함수는 모델이 현재 얼마나 틀리고 있는지를 하나의 숫자로 나타내는 기준이다.

---

2. 왜 단순한 차이 계산만으로는 부족한가

특히 분류 문제에서는 다음과 같이 단순하게 오차를 계산하는 방식이 적절하지 않다.

예측값 - 실제값

분류 모델의 예측값은 보통 0과 1 사이의 확률값이다.

• 예측값이 0.9이고 실제값이 1인 경우
• 예측값이 0.1이고 실제값이 1인 경우

두 경우 모두 정답은 같지만, 모델의 확신 정도는 크게 다르다.

단순한 차이 계산 방식은 이러한 차이를 제대로 반영하지 못한다.

그래서 분류 문제에서는 로그 함수 기반 손실 함수(Cross Entropy 등)를 사용하여

틀린 정도에 따라 더 큰 패널티를 주도록 설계한다.

---

3. 손실 함수와 학습의 관계

머신러닝 모델의 학습 과정은 다음과 같이 반복된다.

1. 가중치(weights)를 초기값으로 설정한다.
2. 손실 함수를 계산한다.
3. 손실이 작아지는 방향으로 가중치를 조정한다.

손실 함수의 기울기(gradient)는 가중치를 어느 방향으로 얼마나 바꿔야 하는지를 알려준다.

이 과정을 반복하는 방법이 경사 하강법(Gradient Descent)이다.

따라서 손실 함수는 단순한 평가 지표가 아니라, 모델이 학습하는 방향 자체를 결정하는 기준이 된다.

---

4. 손실 함수가 중요한 이유

• 모델의 성능을 수치로 비교할 수 있다.
• 학습 방향을 결정한다.
• 문제 유형(회귀, 분류)에 맞는 함수 선택이 필요하다.
• 손실 함수가 부적절하면 학습이 거의 진행되지 않을 수 있다.

같은 모델 구조라도 손실 함수에 따라 학습 결과는 크게 달라질 수 있다.

---

5. 정리

• 손실 함수는 예측값과 실제값의 차이를 수치로 나타낸다.
• 모든 데이터의 오차를 종합한 평균값이 손실 함수이다.
• 모델은 손실 함수를 최소화하는 방향으로 학습한다.
• 손실 함수 선택은 모델 성능에 직접적인 영향을 준다.

머신러닝 모델의 학습은 결국 손실 함수를 최소화하는 과정이라고 볼 수 있다.