본문 바로가기

전체 글50

RAG 시스템의 성능 평가 방법과 독립 평가, 종단간 평가의 차이 RAG(Retrieval-Augmented Generation) 시스템은 문서를 검색하는 Retrieval 과정과 답변을 생성하는 Generation 과정이 함께 동작하는 구조이다.따라서 단순히 답변이 맞는지만 평가하는 것으로는 충분하지 않다. 문서를 얼마나 잘 검색했는지와 검색된 문서를 기반으로 얼마나 자연스러운 답변을 생성했는지를 함께 평가해야 한다.왜 RAG 시스템 평가는 어려운가일반적인 LLM 평가는 답변의 정확도만 확인하는 경우가 많다. 하지만 RAG 시스템은 검색 과정까지 포함되어 있기 때문에 평가해야 하는 요소가 더 많다.예를 들어 검색 단계에서 관련 없는 문서를 가져오면 LLM이 아무리 좋은 모델이라도 정확한 답변을 만들기 어렵다.반대로 문서를 잘 검색했더라도 LLM이 내용을 제대로 요약하.. 2026. 5. 10.
LangChain 기반 RAG 시스템의 주요 구성 요소와 역할 RAG(Retrieval-Augmented Generation)는 외부 데이터를 검색(Retrieval)한 뒤, 그 결과를 기반으로 답변을 생성(Generation)하는 방식이다.기존 LLM은 학습된 정보만 활용하기 때문에 최신 정보나 특정 문서 내용을 정확하게 답변하지 못하는 경우가 있다.RAG는 필요한 정보를 외부 문서에서 검색한 뒤 그 내용을 바탕으로 답변을 생성하기 때문에 더 정확하고 신뢰도 높은 응답을 만들 수 있다.RAG 시스템의 전체 동작 흐름일반적인 RAG 시스템은 다음과 같은 순서로 동작한다.문서를 저장하고 벡터화한다.사용자의 질문을 임베딩한다.질문과 유사한 문서를 검색한다.검색된 문서를 LLM에 함께 전달한다.LLM이 최종 답변을 생성한다.1. Document LoaderDocument.. 2026. 5. 10.
PEFT가 필요한 이유와 활용 방법 PEFT(Parameter Efficient Fine-Tuning)PEFT는 대규모 언어 모델을 효율적으로 미세조정(Fine-tuning)하기 위한 방법이다.기존 방식은 모델 전체를 다시 학습해야 했지만, PEFT는 일부 파라미터만 조정하여 성능을 개선하는 방식이다.1. PEFT가 필요한 이유최근 LLM은 수십억 개 이상의 파라미터를 가지고 있어 전체를 학습하는 데 많은 비용이 필요하다.모델 크기가 매우 큼학습 비용과 시간 증가고성능 GPU 필요이러한 문제를 해결하기 위해 적은 자원으로도 모델을 활용할 수 있는 방법이 필요하다.PEFT는 일부 파라미터만 학습함으로써 비용을 줄이고 효율성을 높인다.2. PEFT의 특징전체 모델이 아닌 일부 파라미터만 학습학습 속도 향상메모리 사용량 감소기존 모델의 성능을 .. 2026. 4. 26.
모델 크기를 키워도 성능이 둔화되는 이유 대규모 언어 모델은 일반적으로 모델 크기가 커질수록 성능이 향상된다.하지만 일정 수준 이상에서는 모델을 계속 키워도 성능 향상이 점점 줄어드는 현상이 나타난다.이러한 현상을 성능 둔화 또는 한계 구간이라고 볼 수 있다.1. 데이터의 한계모델이 아무리 커져도 학습 데이터가 부족하면 성능 향상에 한계가 생긴다.학습할 수 있는 정보가 제한됨중복 데이터 증가새로운 정보 부족즉 모델 용량보다 데이터가 부족하면 학습 효율이 떨어진다.2. 학습 효율 감소모델이 커질수록 추가된 파라미터가 성능 향상에 기여하는 비율이 감소한다.초기에는 성능이 크게 향상됨점점 증가폭이 줄어듦추가 비용 대비 효과 감소즉 일정 수준 이후에는 더 많은 자원을 사용해도 얻는 이득이 작아진다.3. 과적합 문제모델이 지나치게 커지면 학습 데이터에 .. 2026. 4. 26.
LLM의 할루시네이션이란? LLM의 할루시네이션(Hallucination)대규모 언어 모델(LLM)은 자연스러운 문장을 생성할 수 있지만, 사실과 다른 내용을 그럴듯하게 만들어내는 경우가 있다.이러한 현상을 할루시네이션(Hallucination)이라고 한다.즉 실제로 존재하지 않는 정보나 잘못된 내용을 마치 사실인 것처럼 생성하는 문제를 의미한다.1. 할루시네이션이 발생하는 이유LLM은 정답을 찾는 모델이 아니라 다음 단어를 예측하는 모델이다.이 과정에서 가장 그럴듯한 문장을 생성하는 데 집중하기 때문에 사실 여부와는 무관하게 문장을 만들어낼 수 있다.확률 기반으로 단어를 생성사실 여부를 검증하지 않음불완전한 학습 데이터 영향따라서 정보가 부족하거나 애매한 질문일수록 잘못된 내용을 생성할 가능성이 높아진다.2. 왜 문제가 되는가할.. 2026. 4. 26.
BERT 이후 등장한 주요 NLP 모델 BERT와 GPT 이후 자연어 처리 분야에서는 다양한 사전학습 모델이 등장하며 빠르게 발전해왔다.이러한 모델들은 기존 구조를 개선하거나 확장하여 성능을 높이고 다양한 작업에 적용될 수 있도록 발전하였다.1. RoBERTaRoBERTa는 BERT를 개선한 모델로, 더 많은 데이터와 더 긴 학습을 통해 성능을 향상시킨 모델이다.BERT 기반 구조 유지더 큰 데이터로 학습학습 방식 개선BERT보다 더 안정적인 성능을 보여주며 다양한 NLP 작업에서 활용된다.2. ALBERTALBERT는 BERT의 구조를 경량화하여 효율성을 높인 모델이다.파라미터 공유 방식 적용모델 크기 감소연산 효율성 향상비슷한 성능을 유지하면서도 더 적은 자원으로 학습이 가능하다.3. T5T5는 모든 NLP 문제를 텍스트-투-텍스트(Tex.. 2026. 4. 19.

티스토리툴바