replug1 RAG 구조 설계기: RePlug와 ColBERTv2 1. 서론검색 증강 생성(RAG, Retrieval-Augmented Generation)은 대규모 언어모델에 외부 지식 검색을 결합해 사실성, 최신성, 신뢰성을 강화하는 방법이다. 기본 구조는 검색기(Retriever)와 생성기(Generator)로 나뉘며, 검색된 문서를 생성기의 입력으로 활용한다. 최근 1~2년간 연구에서는 이 구조를 어떻게 설계·통합하느냐에 따라 다양한 혁신이 등장했다.2. 주요 모델별 구조2.1 Atlas – 검색 통합 사전학습Atlas는 검색기를 사전학습 단계부터 모델에 통합한 구조가 특징이다. 검색된 문서를 개별적으로 인코딩한 뒤, 디코더에서 교차 어텐션으로 융합하는 Fusion-in-Decoder(FiD) 방식을 사용한다. 이를 통해 소수 샘플 학습 환경에서도 대규모 파라미.. 2025. 9. 2. 이전 1 다음 반응형