자체 클라우드 내에서 순위 재지정 실행

데이터를 남길 수 없는 환경에서 운영되는 팀은 검색 품질과 관련하여 반복되는 딜레마에 직면합니다. 가장 도움이 되는 기술은 구성 요소를 추가하는 기술이며, 모든 추가 구성 요소는 경계 내에서 배포, 모니터링 및 업그레이드할 수 있는 것입니다.

순위 재지정이 가장 명확한 경우입니다. 이는 일반적으로 사용 가능한 최대 단일 정확도 개선이며 추가 서비스입니다.

추가하는 내용

재순위 단계는 첫 번째 단계 검색과 모델 사이에 있습니다. 미리 계산된 벡터를 비교하는 대신 후보자의 최종 후보 목록을 가져와서 쿼리에 대해 직접 판단하여 재정렬합니다.

운영상 이것은 자체 리소스 프로필을 갖춘 서비스입니다. 즉, 전체 인덱스가 아닌 작은 세트에 적용되는 벡터 검색보다 항목당 더 무겁습니다. 실행하는 다른 모든 것과 마찬가지로 용량, 모니터링 및 업그레이드 경로가 필요합니다.

당신이 돌려받는 것

두 가지 일이 동시에 일어나는 것은 특이한 일입니다.

질문에 답하는 구절이 다섯 번째가 아닌 맨 위에 오기 때문에 접지가 더 좋습니다.

평범한 10개의 구절 대신 좋은 구절 3개를 통과할 수 있으므로 통화할 때마다 컨텍스트 비용이 낮아집니다. 자체 컴퓨팅 비용을 지불하는 자체 호스팅 배포에서는 이러한 감소가 모든 단일 실행에 영구적으로 적용됩니다.

두 번째 이점은 방금 추가한 구성 요소의 비용을 상쇄하기 때문에 일반적으로 제한된 환경에서 결정을 내리는 것입니다.

배포하기 전에 결정하는 방법

무엇이든 만들기 전에 검색 위치를 측정하세요. 올바른 구절이 포함된 실제 질문을 받고 올바른 구절이 검색되었는지 여부와 순위를 기록합니다.

일반적으로 검색되지만 순위가 낮은 경우 순위를 다시 지정하면 상당한 도움이 되며 커밋하기 전에 어느 정도인지 추정할 수 있습니다.

일반적으로 전혀 검색되지 않는 경우 순위를 다시 지정해도 도움이 되지 않습니다. 문제는 청크 또는 임베딩의 업스트림에 있으며 구성 요소를 추가하면 용량이 소모되고 아무 것도 변경되지 않습니다.

이 측정에는 오후 시간이 걸리며 검색 작업에서 가장 흔히 발생하는 낭비되는 분기를 방지합니다.

용량 계획

재순위 로드는 코퍼스 크기가 아닌 쿼리 볼륨에 비례하므로 인덱스 자체보다 예측하기가 더 쉽습니다. 중요한 변수는 쿼리당 순위를 다시 매기는 후보자 수입니다.

20명이 아닌 50명의 후보자 순위를 다시 매기는 것은 대부분의 팀이 기대하는 것보다 비용이 더 많이 들고 도움이 되지 않습니다. 더 많은 것이 더 낫다고 가정하기보다는 측정해 보세요.

공기가 차단된 환경에서

한 가지 추가 사항에도 동일한 고려 사항이 적용됩니다. 즉, reranker에 대한 모델 업데이트는 다른 모든 것과 마찬가지로 일정에 따라 인공물로 도착합니다. 업데이트를 수락하거나 거부하는 것이 도약이 아닌 신중한 결정이 되도록 평가 세트를 먼저 구축하십시오.

평가에 적합한 곳

단계를 추가하면 지연 시간, 정확도, 비용이 변경되며 세 가지 모두 동일한 점수에 속합니다. Oran의 평가에서는 정확히 이러한 이유로 행동, 구조, 대기 시간 및 비용 기준을 함께 다룹니다. 대화형 대기 시간 예산을 깨는 정확도 향상은 개선이 아니라 거래이며, 그것이 이루어지는 순간에 표시되어야 합니다.

다음

순위 재지정 및 배포 페이지에서는 메커니즘과 자체 호스팅 옵션을 다룹니다. 개발자 문서에서는 이러한 결정을 측정 가능하게 만드는 평가 세트 구축을 다룹니다.