[concept] Retrieval-Augmented Generation (RAG)

(아 뭐야 알고보니 해봤던거였음 Langchain은 RAG 시스템을 구축하기 위해 사용하는 툴이다..!)

 

LLM에 학습 과정에 포함되지 않은 지식을 주입하는 방법은 크게 2가지.

 

1. Fine-Tuning : 새로운 지식에 관한 텍스트 데이터 소스를 이용해서 LLM의 파라미터를 파인튜닝한다.

2. RAG : 새로운 지식에 관한 텍스트 데이터를 임베딩해서 vector stores에 저장하고, 프롬프트 구성을 진행할 때 외부 데이터로부터 가져온 텍스트 데이터를 함께 이용해여 프롬프트를 구성한뒤 LLM으로부터 답변을 얻어낸다.

 

즉, 외부 텍스트데이터와 LLM에 주어진 질문을 결합해서 질문에 대한 답변을 생성해내는 방법론이다.

 

 

 

RAG는 기본적으로 외부의 정보를 참조하여 작동하는 구조이므로 인터넷 연결이 필요하다.

 

그러나, 인터넷 연결 없이도 작동할 수 있게끔 할 수 있는데

이를 위해 내부 데이터베이스를 활용하거나 모든 필요한 데이터를 로컬에 저장하고 RAG가 이 로컬 데이터 베이스를 사용하도록 설정할 수 있다. 

 

상황에 따라서 RAG나 LLM 파인튜닝의 적절한 방법을 사용하면 된다.