본문 바로가기
데이터 분석

RAG 시스템에서의 Agent 개념과 구현 방법

by hidden-state 2026. 5. 10.

기존 RAG 시스템은 사용자의 질문이 들어오면 관련 문서를 검색하고 그 내용을 기반으로 답변을 생성하는 방식으로 동작한다.

하지만 복잡한 질문이 들어오거나 여러 단계의 작업이 필요한 경우에는 단순 Retrieval만으로 해결하기 어려운 상황이 발생할 수 있다.

이러한 문제를 해결하기 위해 등장한 개념이 Agent이다.


Agent란 무엇인가

Agent는 LLM이 단순히 답변만 생성하는 것이 아니라, 상황에 따라 필요한 작업을 스스로 선택하고 실행할 수 있도록 만든 구조이다.

즉 단순한 질문 응답 모델이 아니라 "어떤 작업을 수행해야 하는지 판단하는 AI 시스템"에 가깝다.

예를 들어 사용자의 질문에 따라 문서를 검색할 수도 있고, 웹 검색을 수행할 수도 있으며, 계산 도구나 외부 API를 호출할 수도 있다.


기존 RAG와 Agent의 차이

기존 RAG는 일반적으로 정해진 흐름으로 동작한다.

질문 → 문서 검색 → 답변 생성

반면 Agent 기반 시스템은 질문의 종류에 따라 필요한 작업을 스스로 선택할 수 있다.

예를 들어 단순 문서 검색만 필요한 질문인지, 웹 검색까지 필요한 질문인지 판단하여 적절한 도구를 선택한다.

 

RAG Agent workflow


왜 Agent가 필요한가

실제 사용자 질문은 단순하지 않은 경우가 많다.

예를 들어 최신 뉴스나 실시간 데이터가 필요한 질문은 기존 문서 검색만으로 해결하기 어렵다.

또한 하나의 질문 안에서도 검색, 계산, 요약 등 여러 작업이 동시에 필요할 수 있다.

이때 Agent는 필요한 작업을 단계적으로 수행하면서 더 복잡한 문제를 해결할 수 있다.


Agent의 동작 방식

일반적인 Agent 시스템은 다음과 같은 흐름으로 동작한다.

  1. 사용자 질문 분석
  2. 필요한 작업 판단
  3. 적절한 Tool 선택
  4. 작업 수행
  5. 최종 답변 생성

예를 들어 사용자가 "오늘 환율을 기반으로 해외 구매 가격을 계산해줘" 라고 질문했다고 가정해보자.

이 경우 Agent는 먼저 웹 검색이나 API를 통해 환율 정보를 가져온 뒤, 계산 도구를 사용하여 최종 결과를 생성할 수 있다.


LangChain에서의 Agent 구현

LangChain은 Agent 기능을 구현하기 위한 다양한 기능을 제공한다.

대표적으로 다음과 같은 요소들이 사용된다.

  • LLM
  • Tool
  • Retriever
  • Memory
  • Agent Executor

Tool은 웹 검색, 계산기, 데이터베이스 조회 등 외부 기능을 의미한다.

Agent는 사용자 질문을 분석한 뒤 어떤 Tool을 사용할지 결정한다.

LangChain에서는 이러한 흐름을 연결하여 Agent 기반 RAG 시스템을 구현할 수 있다.


Agent 활용 예시

  • 실시간 뉴스 검색 시스템
  • AI 기반 고객 상담 시스템
  • 자동 리서치 시스템
  • 데이터 분석 자동화
  • 멀티 스텝 질의응답 시스템

최근에는 단순 챗봇보다 Agent 기반 시스템이 더 많이 연구되고 있다.


정리

Agent는 단순히 답변만 생성하는 것이 아니라, 상황에 따라 필요한 작업을 스스로 선택하고 수행하는 구조이다.

기존 RAG보다 더 복잡한 문제를 해결할 수 있으며, 웹 검색이나 API 호출 같은 외부 도구와 함께 활용될 수 있다.

LangChain은 이러한 Agent 시스템을 구현하기 위한 다양한 기능을 제공하며, 최근 생성형 AI 시스템에서 중요한 개념으로 주목받고 있다.