NLP3 LLM의 할루시네이션이란? LLM의 할루시네이션(Hallucination)대규모 언어 모델(LLM)은 자연스러운 문장을 생성할 수 있지만, 사실과 다른 내용을 그럴듯하게 만들어내는 경우가 있다.이러한 현상을 할루시네이션(Hallucination)이라고 한다.즉 실제로 존재하지 않는 정보나 잘못된 내용을 마치 사실인 것처럼 생성하는 문제를 의미한다.1. 할루시네이션이 발생하는 이유LLM은 정답을 찾는 모델이 아니라 다음 단어를 예측하는 모델이다.이 과정에서 가장 그럴듯한 문장을 생성하는 데 집중하기 때문에 사실 여부와는 무관하게 문장을 만들어낼 수 있다.확률 기반으로 단어를 생성사실 여부를 검증하지 않음불완전한 학습 데이터 영향따라서 정보가 부족하거나 애매한 질문일수록 잘못된 내용을 생성할 가능성이 높아진다.2. 왜 문제가 되는가할.. 2026. 4. 26. Word2Vec과 FastText 텍스트 데이터를 숫자로 변환하는 방법 중 하나는 단어를 벡터 형태로 표현하는 것이다.이 과정에서 대표적으로 사용되는 모델이 Word2Vec과 FastText이다.두 모델은 모두 단어의 의미를 벡터로 표현하지만, 처리 방식과 특징에서 중요한 차이를 가진다.1. Word2Vec이란 Word2Vec은 단어를 하나의 벡터로 변환하는 모델이다.문장에서 함께 등장하는 단어들을 기반으로 학습하여 의미가 비슷한 단어들이 가까운 위치에 있도록 만든다.이렇게 생성된 벡터는 단어 간의 의미 관계를 반영하게 된다. 2. Word2Vec의 특징Word2Vec은 단순한 구조를 가지면서도 단어의 의미를 잘 표현할 수 있는 모델이다.의미적으로 비슷한 단어를 가까운 벡터로 표현학습 속도가 빠르고 구조가 단순함단어 간 관계를 벡터 연산.. 2026. 4. 6. 텍스트 데이터 전처리 텍스트 데이터는 이미지와 달리 그대로 모델에 입력할 수 없다.문장은 문자열 형태이기 때문에 이를 숫자 형태로 변환하는 전처리 과정이 필요하다.이 과정은 모델의 성능에 큰 영향을 미치기 때문에 매우 중요한 단계이다.1. 텍스트 전처리가 필요한 이유딥러닝 모델은 숫자 데이터를 기반으로 연산을 수행한다.하지만 텍스트는 단어와 문장으로 이루어져 있기 때문에 그대로 입력하면 모델이 이해할 수 없다.따라서 텍스트를 모델이 처리할 수 있도록 숫자 형태로 변환하는 과정이 필요하다.2. 주요 전처리 과정텍스트 데이터 전처리는 여러 단계로 이루어지며 일반적으로 다음과 같은 과정을 거친다.1) 토큰화(Tokenization)토큰화는 문장을 단어 또는 의미 단위로 나누는 과정이다.예를 들어 "나는 학교에 간다"라는 문장은 ".. 2026. 4. 6. 이전 1 다음