리랭킹
초기 검색에서 추출된 Top-K 후보 콘텐츠를 AI가 질문의 의미와 문맥을 기반으로 다시 분석하여 관련성이 높은 순으로 재정렬하는 기능입니다.
처리흐름
-
사용자 질문
-
초기 검색
-
Top-K 후보 추출
-
Re-ranking
-
상위 콘텐츠 선별(의미 기반 재정렬)
-
결과 화면에 표시
주요기능
-
Top-K 후보 추출
검색 엔진에서 질의와 관련성에 높은 Top-K 후보군(Chunk)을 우선 검색하여 재정렬 대상 후보군을 구성합니다.
-
의미 기반 재정렬
AI가 문맥과 의미를 분석하여 Top-K 후보를 다시 평가하고 관련성이 높은 순으로 후보순위를 재배치합니다.
-
최적 콘텐츠 선별
재정렬된 결과 중 가장 관련성이 높은 콘텐츠를 우선 선택하여 AI 답변 생성에 활용합니다.
-
답변 정확도 향상
재정렬된 Top-K 결과 기반으로 LLM이 문맥을 정확하게 반영한 맥락을 더 정확하게 반영한 답변을 제공합니다.
주요 활용 예시
-
통합검색
문서, 이미지, 홈페이지 등 다양한 콘텐츠에서 추출한 Top-K 결과를 의미 기반으로 재정렬하여 최적의 검색 결과를 제공합니다.
-
AI 채팅
질문과 가장 관련성이 높아진 Top-K Chunk를 다시 평가 · 정렬하고 신뢰도 높은 답변을 생성합니다.
-
문서 검색
유사한 문서가 많은 경우에도 문맥을 파악하여 우선순위를 다시 재선정 · 가장 적합한 문서를 상위에 배치합니다.
-
지식 검색(RAG)
재정렬된 Top-K Chunk를 LLM이 문맥에 맞게 답변에 선택 · 참조 함으로 활용 시킵니다.
Top-K 설정 안내
Re-ranking 성능은 Top-K 값의 영향을 크게 받습니다. 데이터의 규모와 검색 목적에 따라 적절한 값을 설정하는 것이 중요합니다.
| 설정 항목 | 의미 | 주요 판단 기준 |
|---|---|---|
| 후보 수 K | 1차 검색이 리랭커에 전달하는 결과 수 | Recall@K, 처리 시간, 비용 |
| 최종 결과 수 N | 재정렬 후 실제로 사용하거나 노출하는 결과 수 | 상위 결과 관련성, LLM 토큰 한도 |
| 관련성 기준점 | 낮은 점수의 결과를 제외하는 기준 | 모델별 점수 분포와 검증 데이터 |
| 문서 길이 | 후보 하나에 포함되는 텍스트 범위 | 입력 제한, 정보 누락, 청크 품질 |
후보 수 K가 너무 작으면 필요한 문서가 후보군에서 누락될 수 있고, 너무 크면 처리 시간과 비용이 증가합니다. 여러 K값을 비교하여 Recall@K, 상위 결과 품질, 응답 시간과 비용을 함께 평가해 결정해야 합니다.
Re-ranking 작동 원리
Re-ranking 모델은 질문과 각 후보 콘텐츠의 의미 유사도, 문맥 적합성, 관련성 점수 등을 종합적으로 평가하여 순위를 재조정합니다.
이렇게 재정렬된 결과 중 상위 콘텐츠가 최종 답변 생성에 사용됩니다.
성능비교
| 구분 | 기존 검색 (Re-ranking 미적용) | Re-ranking 적용 |
|---|---|---|
| 정확도 | 키워드 중심 검색 | 의미 기반 검색 |
| 노이즈 | 관련성이 낮은 결과 포함 | 불필요한 결과 감소 |
| 답변 품질 | 질문 의도 반영이 제한적 | 질문의 맥락을 정확히 반영 |
| 사용자 만족도 | 보통 | 높음 |
| 활용 환경 | 단순 검색 | RAG 기반 AI 서비스 및 지식검색 |
어떤 환경에서 사용하면 좋을까요?
| 환경 | 추천 이유 |
|---|---|
| 사내 문서 검색 | 유사한 문서가 많아 의미 기반 재정렬이 필요한 경우 |
| 공공기관 지식검색 | 정확하고 신뢰성 있는 검색 결과 제공 |
| AI 챗봇 | 질문 의도를 반영한 답변 생성 |
| 대규모 문서 검색 | 불필요한 검색 결과를 줄이고 정확도 향상 |
| RAG 기반 AI 서비스 | LLM에 최적의 Top-K 콘텐츠를 제공하여 답변 품질 향상 |
Re-ranking은 Top-K 후보를 의미 기반으로 재정렬하여 가장 관련성이 높은 콘텐츠를 선별하고, 이를 기반으로 AI 답변의 정확도와 신뢰성을 높이는 핵심 기능입니다.
리랭킹을 통해 검색 결과의 정확도와 관련성을 높여
더욱 적합한 정보를 제공할 수 있습니다.
