전이 학습(Transfer Learning)이란?

전이 학습은 이미 학습이 완료된 모델을 새로운 문제에 재활용하는 방법이다.

처음부터 모델을 새로 학습시키는 대신 대규모 데이터로 미리 학습된 모델의 일부를 가져와 사용하는 방식이다.

이미지 분야에서는 ImageNet과 같은 큰 데이터셋으로 학습된 모델을 자주 활용한다.

대표적으로 ResNet, VGG, EfficientNet과 같은 구조가 사용된다.

---

왜 전이 학습이 가능한가

합성곱 신경망은 계층이 깊어질수록 서로 다른 수준의 특징을 학습한다.

• 초기 층에서는 선, 모서리, 색상과 같은 단순한 특징을 학습한다.
• 중간 층에서는 질감이나 형태를 학습한다.
• 후반 층에서는 구체적인 객체 정보를 학습한다.

이 중에서 초기와 중간 층이 학습한 특징은 대부분의 이미지 문제에서 공통적으로 사용될 수 있다.

그래서 완전히 다른 데이터셋이라 하더라도 기본적인 특징 추출 부분은 재사용이 가능하다.

---

왜 전이 학습이 필요한가

딥러닝 모델을 처음부터 학습시키려면 많은 데이터와 긴 학습 시간이 필요하다.

하지만 실제 환경에서는 충분한 데이터를 확보하기 어려운 경우가 많다.

예를 들어 의료 영상 분류 문제를 생각해보면, 대량의 데이터를 수집하는 것이 쉽지 않다.

이때 이미 학습된 모델을 활용하면 적은 데이터로도 비교적 안정적인 성능을 기대할 수 있다.

또한 학습 시간이 크게 줄어들고 초기 학습 과정에서 발생하는 불안정성을 줄일 수 있다.

---

전이 학습의 두 가지 방식

1. Feature Extraction

Feature Extraction은 기존에 학습된 모델의 합성곱 층을 그대로 사용하고

마지막 분류 층만 새로 학습시키는 방법이다.

합성곱 신경망의 초기 층은 선, 모서리, 색상과 같은 기본적인 특징을 학습한다.

이러한 특징은 대부분의 이미지 문제에서 공통적으로 사용된다.

그래서 특징 추출 부분을 그대로 활용해도 새로운 문제에서 일정 수준의 성능을 기대할 수 있다.

데이터가 적거나 기존 데이터와 새로운 데이터가 유사한 경우에 적합하다.

학습해야 할 파라미터 수가 적어 학습 속도가 빠르고 비교적 안정적이다.

---

2. Fine-Tuning

Fine-Tuning은 기존 모델의 일부 층까지 함께 학습시키는 방법이다.

보통 마지막 몇 개의 합성곱 층을 다시 학습시켜 새로운 데이터에 맞게 모델을 조정한다.

새로운 데이터의 특성이 기존 데이터와 많이 다를 경우 분류 층만 교체하는 것으로는 충분하지 않을 수 있다.

이때 일부 층을 추가로 학습하면 모델이 학습한 특징을 문제에 맞게 세밀하게 수정할 수 있다.

Feature Extraction보다 학습 시간은 더 걸리지만 문제에 더 잘 맞는 모델을 만들 수 있다.

---

 

Feature Extraction과 Fine-Tuning 비교

구분	Feature Extraction	Fine-Tuning
학습 범위	마지막 분류 층만 학습	일부 합성곱 층까지 함께 학습
데이터 조건	데이터가 적거나 기존 데이터와 유사한 경우	데이터 특성이 많이 다른 경우
학습 시간	비교적 짧음	상대적으로 김
모델 조정 정도	기존 특징을 그대로 활용	특징을 문제에 맞게 수정

---

전이 학습의 장점과 고려할 점

• 적은 데이터로도 학습이 가능하다.
• 학습 시간이 줄어든다.
• 초기 성능이 비교적 안정적이다.

다만 기존 모델이 학습한 데이터와 새로운 데이터의 특성이 너무 다르면 기대만큼의 성능을 얻지 못할 수도 있다.

---

정리

• 전이 학습은 이미 학습된 모델을 새로운 문제에 활용하는 방법이다.
• 합성곱 신경망의 초기 층은 일반적인 특징을 학습하므로 재사용이 가능하다.
• Feature Extraction과 Fine-Tuning 방식이 대표적이다.
• 데이터가 부족한 상황에서 특히 유용하다.