RAG 시스템의 성능 평가 방법과 독립 평가, 종단간 평가의 차이

RAG(Retrieval-Augmented Generation) 시스템은 문서를 검색하는 Retrieval 과정과 답변을 생성하는 Generation 과정이 함께 동작하는 구조이다.

따라서 단순히 답변이 맞는지만 평가하는 것으로는 충분하지 않다. 문서를 얼마나 잘 검색했는지와 검색된 문서를 기반으로 얼마나 자연스러운 답변을 생성했는지를 함께 평가해야 한다.

---

왜 RAG 시스템 평가는 어려운가

일반적인 LLM 평가는 답변의 정확도만 확인하는 경우가 많다. 하지만 RAG 시스템은 검색 과정까지 포함되어 있기 때문에 평가해야 하는 요소가 더 많다.

예를 들어 검색 단계에서 관련 없는 문서를 가져오면 LLM이 아무리 좋은 모델이라도 정확한 답변을 만들기 어렵다.

반대로 문서를 잘 검색했더라도 LLM이 내용을 제대로 요약하지 못하면 최종 답변 품질이 낮아질 수 있다.

그래서 RAG 시스템은 검색 성능과 생성 성능을 함께 평가해야 한다.

---

RAG 시스템의 주요 평가 방법

1. Retrieval 평가

Retrieval 평가는 사용자 질문과 관련 있는 문서를 얼마나 정확하게 검색했는지를 평가하는 방법이다.

대표적으로 다음과 같은 지표가 사용된다.

• Precision
• Recall
• Hit Rate
• MRR(Mean Reciprocal Rank)

예를 들어 사용자가 질문한 내용과 관련된 문서를 상위 검색 결과에 얼마나 잘 포함시켰는지를 평가한다.

---

2. Generation 평가

Generation 평가는 LLM이 검색된 문서를 기반으로 얼마나 자연스러운 답변을 생성했는지를 평가한다.

대표적으로 다음과 같은 방법이 사용된다.

• BLEU
• ROUGE
• LLM 기반 평가
• 사람 평가(Human Evaluation)

최근에는 GPT 계열 모델을 활용하여 답변 품질을 평가하는 방식도 많이 사용된다.

---

독립 평가(Independent Evaluation)

독립 평가는 Retrieval과 Generation을 각각 따로 평가하는 방식이다.

즉 문서 검색 성능과 답변 생성 성능을 개별적으로 측정한다.

예를 들어 검색 단계에서는 관련 문서를 얼마나 잘 찾았는지를 평가하고, 생성 단계에서는 답변 품질만 별도로 평가한다.

이 방식은 어느 단계에서 문제가 발생했는지 파악하기 쉽다는 장점이 있다.

---

종단간 평가(End-to-End Evaluation)

종단간 평가는 사용자 질문부터 최종 답변 생성까지 전체 시스템을 한 번에 평가하는 방식이다.

즉 사용자는 최종 답변만 확인하게 되므로 실제 서비스 환경과 가장 유사한 평가 방식이라고 볼 수 있다.

예를 들어 사용자가 질문했을 때 최종 답변이 얼마나 정확하고 자연스러운지를 전체 흐름 기준으로 평가한다.

다만 어떤 단계에서 오류가 발생했는지 분석하기 어렵다는 단점도 있다.

---

독립 평가와 종단간 평가의 차이

구분	독립 평가	종단간 평가
평가 대상	검색과 생성 단계를 각각 평가	전체 시스템을 한 번에 평가
장점	문제 원인 분석이 쉬움	실제 서비스 환경과 유사
단점	전체 사용자 경험 반영이 어려움	오류 원인 분석이 어려움

---

정리

RAG 시스템은 검색과 생성 과정이 함께 동작하기 때문에 일반적인 LLM보다 평가 구조가 더 복잡하다.

독립 평가는 Retrieval과 Generation을 각각 분석하는 방식이며, 종단간 평가는 전체 시스템의 최종 답변 품질을 평가하는 방식이다.

실제 RAG 시스템에서는 두 가지 평가 방식을 함께 사용하는 경우가 많다.