검색증강생성(RAG) 기술을 사용한 맞춤형 AI입니다.
RAG 개념도 Retrieval-Augmented Generation
- 1질문사용자가 질문을 합니다.
(Prompt) - 2검색미리 학습된 데이터에서 사용자가 질문한 내용과 유사한 데이터를 검색합니다.
(Retrieval) - 3증강관련 데이터를 반영하여 질문 내용을 증강시킵니다.
(Augmented) - 4증강질문증강된 질문을 거대언어모델(LLM)에 API로 전달합니다.
- 5답변생성거대언어모델이 생성한 답변을 API로 받아옵니다.
- 6답변지정한 답변지침(instruction)에 맞춰 사용자에게 답변을 제시합니다.
BM25 키워드 검색과 FAISS 벡터 검색 기술을 사용합니다.
BM25 키워드 검색
BM25는 "Best Matching 25"의 약자로, 정보 검색에서 문서와 쿼리 간의 관련성을 평가하는 데 사용되는 알고리즘입니다. 이 알고리즘은 특히 텍스트 데이터에서 문서의 순위를 매기는 데 중요한 역할을 합니다. BM25는 다음과 같은 주요 특징을 가지고 있습니다:
- 1. 용어 빈도(TF) : 문서 내에서 특정 용어가 얼마나 자주 등장하는지를 고려합니다.
- 2. 역문서 빈도(IDF) : 특정 용어가 전체 문서 집합에서 얼마나 흔한지를 평가하여, 흔하지 않은 용어에 더 높은 가중치를 부여합니다.
- 3. 문서 길이 정규화 : 문서의 길이를 고려하여, 긴 문서가 짧은 문서보다 불리하지 않도록 조정합니다.
BM25는 이러한 요소들을 결합하여 사용자가 입력한 쿼리와 문서 간의 관련성을 계산하고, 가장 관련성이 높은 문서를 상위에 표시합니다. 이로 인해 정보 검색에 매우 효과적이며, 다양한 검색엔진에서 널리 사용되고 있습니다.
FAISS 벡터 검색
FAISS는 "Facebook AI Similarity Search"의 약자로, Facebook AI Research에서 개발한 라이브러리입니다. 주로 대규모 데이터베이스에서 유사한 항목을 빠르게 검색하기 위해 설계되었습니다. FAISS의 주요 특징은 다음과 같습니다:
- 1. 유사도 검색 : 벡터 간의 유사도를 기반으로 검색을 수행합니다.
- 2. 다양한 인덱싱 방식 : 데이터의 특성에 맞게 최적화된 검색을 수행할 수 있도록 다양한 인덱싱 방법을 제공합니다.
- 3. 대규모 검색 : 대규모 데이터셋에서 빠른 검색이 가능하여 실시간 검색 시스템에 적합합니다.
- 4. 확장성 : 수백만 개의 벡터를 처리할 수 있는 확장성을 가지고 있으며, 클러스터 환경에서의 확장성을 지원합니다.
FAISS는 자연어 처리, 이미지 검색, 추천 시스템 등 다양한 분야에서 활용되며, 특히 대규모 데이터셋에서 빠른 검색이 필요한 분야에서 매우 유용하게 사용됩니다.
