최근의 프롬프트 엔지니어링 영역은 단순히 프롬프트를 잘 작성하는 것에서, 다양한 보조 도구를 사용하는 방법으로 발전해오고 있습니다. 대표적으로 에이전트라는 기능은 사용자가 질문을 할 때 해당 질문을 어떻게 잘 처리해야 할 지에 대해 LLM과 이 LLM이 사용할 도구들을 구현하여, LLM이 도구들을 사용하며 해당 질문을 반복적으로 처리하며 좋은 답변을 생성하는 방법입니다. 에이전트에서 자주 사용되는 방법 중 하나는 RAG인데요 검색 증강 생성이라는 방법으로 특정 문서나 DB 등에서 사용자의 질문에 가장 적합한 데이터를 가져와 이를 기반으로 대답하는 방법입니다. 이 RAG에서 가장 중요한 기능은 사용자의 질문에 가장 적합한 데이터를 가져오는 검색기, Retriever입니다. 이번에는 랭체인 예제에서 간단하게..
LLM을 사용할 때 주의해야할 점으로 환각 현상이 있습니다. 환각 현상, 또는 편하게 할루시네이션이라고 부르는 이 문제는 GPT-3.5를 사용하다보면 자주 확인할 수 있는 사항인데, LLM이 잘못되거나 없는 정보를 생성해버리는 문제를 말합니다. 이러한 문제를 해결하기 위해 모델링 부분에서는 파인튜닝이나 RLHF, DPO 등의 분야가 발전했고, 프롬프팅 분야에서는 RAG(Retrieval-Augmented Generation) 등 데이터 소스에서 정보를 가져와서 모델의 추론에 도움을 주는 분야가 발전하게 되었습니다. LLM 모델이 데이터 소스에서 정보를 가져오기 위해서는 모델이 알아보기 쉽게 임베딩 처리를 한 문서 데이터베이스가 필요한데 이를 Vector store 라고 보통 부릅니다. 이 벡터 스토어에서..
LoRA: Low-Rank Adaptation of Large Language Models An important paradigm of natural language processing consists of large-scale pre-training on general domain data and adaptation to particular tasks or domains. As we pre-train larger models, full fine-tuning, which retrains all model parameters, becomes le arxiv.org 최근 자연어 처리 분야에서 가장 활발한 주제는 LLM을 어떻게 자신이 원하는 특정 태스크, 또는 특정 도메인에 파인튜닝을 할 수 있을지인데요. ..
최근 자연어처리와 관련한 기사들을 살펴보면 알파카나 라마라는 단어를 자주 보실 수 있을 텐데요. 이번 페이지에서는 그 중 알파카라는 자연어처리 모델에 대해 알아보도록 하겠습니다. 간단하게 소개하면 알파카는 라마(LLaMA)라는 모델을 튜닝하여 만든 모델입니다. 원본 모델인 라마를 튜닝했기에 비슷한 동물인 알파카라는 명칭을 지은 것 같습니다. 참고로 LLaMA는 Large Language model Meta AI의 약자입니다. 오픈소스 LLM은 대부분 이 LLaMA의 가중치, 학습방법 등을 모두 공개함으로써 시작했다고 볼 수 있을만큼 중요한 모델입니다. Stanford CRFM We introduce Alpaca 7B, a model fine-tuned from the LLaMA 7B model on 52..
LLaMA: Open and Efficient Foundation Language Models We introduce LLaMA, a collection of foundation language models ranging from 7B to 65B parameters. We train our models on trillions of tokens, and show that it is possible to train state-of-the-art models using publicly available datasets exclusively, witho arxiv.org 올해 Meta AI에서 공개한 LLaMA: Open and Efficient Foundation Language Models 를 리뷰해보도록..
BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension We present BART, a denoising autoencoder for pretraining sequence-to-sequence models. BART is trained by (1) corrupting text with an arbitrary noising function, and (2) learning a model to reconstruct the original text. It uses a standard Tranformer-based arxiv.org BART: Denoising Se..
