[AI] RAG #1 - RAG란?

생성형 AI(LLM)의 한계

ChatGPT, Claude, Gemini와 같은 대형 언어 모델(LLM)은 대규모 텍스트를 학습하여 방대한 지식을 가지고 있습니다. 

하지만 이러한 방식에는 몇가지 구조적인 한계가 존재합니다. 

 

1 ) 지식 컷오프 : 학습 데이터의 마지막 시점 이후의 정보를 알 수 없습니다.

2 ) 환각 : 모델이 모르는 정보에 대해서도 그럴듯한 답변을 생성하는 경향이 존재합니다.

3 ) 도메인 특화 정보 부재 : 사내 메뉴얼, 비공개 연구 자료, 특정 조직의 업무 가이드 등은 접근 불가합니다.

4 ) 출처 부재 : 답변의 근거를 제시하지 않아 사실 확인이 어렵고, 사용자가 답변의 신뢰도를 검증하기 어렵습니다.

 

이러한 한계로 인해 LLM은 특정 도메인에 대한 답변을 잘 할 수 있는 실무 환경에 적용하기 어렵습니다. 이를 위해 필요한 것이 외부 지식을 활용해서 답변을 생성하는 RAG 입니다.

 

RAG 란?

RAG(Retrieval Argumented Generation)은 검색(Retrieval)과 생성(Generation)을 결합한 자연어처리 기법입니다. 모델이 답변을 생성하는 과정에 외부 지식(저장소)에서 관련 문서를 검색하고, 그 검색 결과를 컨텍스트로 활용하여 답변을 생성합니다. 

 

-> 모델이 모든 것을 외우게 하는 것이 아니라, 답할 때마다 관련 문서를 찾아보고 답하게 만드는 방식!

 

RAG는 기존 LLM이 가지고 있던 한계점을 해결할 수 있습니다. 

1) 지식 컷오프                 -> 외부 저장소를 통해 최신 정보 반영

2) 환각                            -> 검색된 문서 기반 답변 생성

3) 도메인 특화 정보 부재  -> 사내 문서를 저장소에 추가하여 도메인에 적용

4) 출처 부재                    -> 검색된 문서를 출처로 활용

 

RAG의 작동 원리

RAG의 동작은 이름 처럼 세 단계로 분해해서 볼 수 있습니다. 

   사용자 질문
      |
[1. Retrieval]  관련 문서 조각을 검색
      |
[2. Augment]    검색 결과를 프롬트트의 컨텍스트로
      |
[3. Generate]   LLM이 컨텍스트를 활용해 답변 생성
      |
    답 변

 

1. 검색 단계 (Retrieval)

사용자의 질문이 입력되면 RAG는 외부 데이터베이스에서 관련된 문서를 검색합니다.

• 질문 임베딩 : 질문을 임베딩하여 고차원 벡터로 인코딩합니다.
• 유사도 계산 : 질문 벡터와 문서 벡터간 유사도를 계산합니다.
• Top-K 선택 : 유사도가 가장 높은 상위 K개 문서 조각을 선택합니다.

검색 방식은 크게 3가지 정도로 나눌 수 있습니다.

검색 방식	원리	강점
Sparse(BM25..)	키워드 기반	고유명사, 정확한 어휘 매칭
Dense(BGE...)	임베딩 유사도 기반	의미 유사도, 동의어 처리
Hybrid	Sparse + Dense 혼합	두 방식의 약점 보완

 

임베딩 벡터 거리 측정은 코사인 유사도, 유클리드 거리 등 몇 가지 방법이 존재하지만, 대부분의 텍스트 임베딩 모델은 코사인 유사도를 기준으로 학습이 되기 때문에 코사인 유사도를 일반적으로 사용합니다. (모델 학습에 사용된 유사도 함수와 동일한 방식 사용하기)

(선택 사항) Re-ranking
초기 검색으로 수십~수백 개의 후보 문서를 추렸다면, 그 중 관련성이 높은 문서를 골라내는 필터링 단계입니다.
Cohere Reranker 같은 모델이 질문–문서 간 정밀 점수를 계산해 상위 20개 내외로 압축합니다. 검색 정확도는 올라가지만 추가 지연이 생기므로 서비스 요구사항에 따라 적용 여부를 결정합니다.

2. 증강 단계 (Augmentation)

검색된 문서 조각을 LLM 프롬프트에 컨텍스트로 삽입합니다. 이 단계에서는 아래의 요소를 고려해야 합니다.

• 컨텍스트 정렬: 어떤 순서로 문서를 배치할지 (관련도 순, 출처 신뢰도 순 등). LLM은 프롬프트 앞뒤에 위치한 정보에 더 민감하게 반응하므로 배치가 답변 품질에 영향을 줍니다.
• 컨텍스트 필터링: 검색된 모든 문서가 유용한 것은 아닙니다. 노이즈가 섞이면 모델 집중력이 떨어지고 토큰 비용도 늘어납니다. 유사도 임계치 기반 필터링, 요약 기반 필터링, 청크 단위 LLM 필터링(ChunkRAG) 같은 기법이 활용됩니다.
• 프롬프트 설계: "다음 정보에 근거하여 답하라"처럼 명시적인 지시문을 넣어, 모델이 자체 지식보다 검색된 근거를 우선 활용하도록 유도합니다.

3. 생성 단계 (Generation)

LLM은 증강된 프롬프트를 입력받아 답변을 생성합니다. 이때, 모델이 검색된 문서를 근거로 사용하기 때문에, 출처가 명확하고 환각이 줄어든 답변을 생성해낼 수 있습니다.

 

• 근거 기반 생성: 검색된 문서를 참조하므로 환각이 줄고, 최신 정보가 반영된 사실적 답변이 만들어집니다.
• 출처 인용: 답변과 함께 참조한 문서의 출처를 명시할 수 있습니다. 사용자가 직접 검증할 수 있어 설명 가능한 AI(Explainable AI) 요구를 충족합니다.

RAG의 한계

 

• 데이터 품질 의존성: 저장소 문서가 오래되었거나 부정확하면 "겉보기에 그럴듯하지만 틀린 답변"이 그대로 생성됩니다. 
• 응답 지연: 임베딩 -> 검색 -> 재순위화 -> 생성으로 단계가 늘어나면서 단독 LLM보다 응답이 느려집니다. 
• 비용·인프라 부담: 벡터 DB 운영, 임베딩 계산, 대규모 인덱스 유지에는 상당한 자원이 필요합니다.
• 컨텍스트 창 한계: 검색 결과를 모두 LLM에 넣을 수 없어, 중요한 정보가 잘리거나 요약 과정에서 손실될 수 있습니다.

 

정리

• LLM 단독으로는 지식 컷오프, 환각, 도메인 부재, 출처 부재라는 한계가 있다.
• RAG는 외부 저장소에서 근거를 찾아와 답변을 생성한다.
• 검색 -> 증강 -> 생성 3단계로 동작함.

 

RAG는 임베딩, 청킹 등 성능을 높이기 위한 여러가지 방법들이 존재합니다. 이후의 글에는 이러한 요소들을 하나씩 정리해볼 수 있도록 하겠습니다.