이론/LLM
[Langchain] 벡터스토어(Vector stores) 구현하기
LLM을 사용할 때 주의해야할 점으로 환각 현상이 있습니다. 환각 현상, 또는 편하게 할루시네이션이라고 부르는 이 문제는 GPT-3.5를 사용하다보면 자주 확인할 수 있는 사항인데, LLM이 잘못되거나 없는 정보를 생성해버리는 문제를 말합니다. 이러한 문제를 해결하기 위해 모델링 부분에서는 파인튜닝이나 RLHF, DPO 등의 분야가 발전했고, 프롬프팅 분야에서는 RAG(Retrieval-Augmented Generation) 등 데이터 소스에서 정보를 가져와서 모델의 추론에 도움을 주는 분야가 발전하게 되었습니다. LLM 모델이 데이터 소스에서 정보를 가져오기 위해서는 모델이 알아보기 쉽게 임베딩 처리를 한 문서 데이터베이스가 필요한데 이를 Vector store 라고 보통 부릅니다. 이 벡터 스토어에서..
