LLM의 할루시네이션이란?

LLM의 할루시네이션(Hallucination)

대규모 언어 모델(LLM)은 자연스러운 문장을 생성할 수 있지만, 사실과 다른 내용을 그럴듯하게 만들어내는 경우가 있다.

이러한 현상을 할루시네이션(Hallucination)이라고 한다.

즉 실제로 존재하지 않는 정보나 잘못된 내용을 마치 사실인 것처럼 생성하는 문제를 의미한다.

---

1. 할루시네이션이 발생하는 이유

LLM은 정답을 찾는 모델이 아니라 다음 단어를 예측하는 모델이다.

이 과정에서 가장 그럴듯한 문장을 생성하는 데 집중하기 때문에 사실 여부와는 무관하게 문장을 만들어낼 수 있다.

• 확률 기반으로 단어를 생성
• 사실 여부를 검증하지 않음
• 불완전한 학습 데이터 영향

따라서 정보가 부족하거나 애매한 질문일수록 잘못된 내용을 생성할 가능성이 높아진다.

---

2. 왜 문제가 되는가

할루시네이션은 단순한 오류를 넘어서 실제 서비스에서 큰 문제를 일으킬 수 있다.

• 잘못된 정보 전달
• 사용자의 신뢰도 하락
• 의료, 법률 등에서 위험한 결과 초래

특히 전문적인 분야에서는 잘못된 정보가 실제 판단에 영향을 줄 수 있기 때문에 더욱 심각한 문제로 여겨진다.

---

3. 할루시네이션을 줄이기 위한 방법

현재 다양한 LLM 서비스들은 할루시네이션 문제를 줄이기 위해 여러 가지 방법을 사용하고 있다.

1) RAG (Retrieval-Augmented Generation)

외부 데이터베이스나 문서를 검색한 뒤 그 정보를 기반으로 답변을 생성하는 방식이다.

• 실제 데이터를 참고하여 답변 생성
• 사실 기반 응답 가능
  

2) Fine-tuning 및 RLHF

모델을 특정 데이터로 재학습하거나 사람의 피드백을 반영하여 더 정확한 답변을 생성하도록 개선한다.

• 정확한 데이터로 모델 보정
• 사람의 평가 기준 반영

3) Prompt Engineering

질문을 더 구체적으로 작성하거나 조건을 추가하여 모델이 정확한 답변을 하도록 유도하는 방법이다.

• 명확한 질문 제공
• 불확실한 경우 답변 제한

4) 검증 및 후처리

모델의 출력 결과를 추가적으로 검증하거나 필터링하는 방법이다.

• 외부 API 또는 룰 기반 검증
• 출력 결과 보정

---

4. 정리

할루시네이션은 LLM이 사실과 다른 내용을 그럴듯하게 생성하는 현상을 의미한다.

이는 모델이 확률 기반으로 문장을 생성하기 때문에 발생하는 문제이며, 실제 서비스에서는 신뢰성과 안전성에 큰 영향을 준다.

이를 해결하기 위해 RAG, Fine-tuning, Prompt Engineering 등 다양한 방법이 활용되고 있으며, 현재도 지속적으로 개선되고 있다.