재순위는 아마도 구매하지 않을 가장 저렴한 정확도입니다.

1단계 검색은 속도를 위해 만들어졌습니다. 대규모 인덱스를 빠르게 스캔하고 관련성이 있는 후보를 반환합니다. 아마도 그 문장에서 실제 작업을 수행하고 있을 것입니다.

표준 응답은 네트를 넓히는 것입니다. 더 많은 구절을 반환하고 모델이 이를 정렬하도록 합니다. 이것은 올바른 구절이 이제 일반적으로 세트의 어딘가에 있다는 의미에서 작동하며 아무도 측정하지 못하는 두 가지 방식으로 실패합니다.

확장에 실제로 드는 비용

모든 추가 구절은 모든 호출의 컨텍스트를 차지하므로 해결 비용은 영구적이며 트래픽에 따라 확장됩니다.

그리고 모델은 노이즈 중에서 관련 자료를 찾아야 합니다. 모델은 이에 대해 괜찮지만 신뢰할 수 없습니다. 특히 그럴듯해 보이는 관련 없는 구절이 올바른 구절 위에 있는 경우에는 더욱 그렇습니다. 그것은 잘못된 문단을 바탕으로 자신감 있는 답을 만들어내는 실패이다.

재순위 단계의 역할

리랭커는 미리 계산된 벡터를 비교하는 대신 쿼리와 각 후보를 함께 살펴봅니다. 항목당 속도가 느리기 때문에 전체 색인을 스캔할 수 없으며 관련성을 판단하는 데 훨씬 더 뛰어나므로 최종 후보 목록을 검토할 가치가 있습니다.

패턴은 다음과 같습니다. 20~50명의 후보자를 저렴하게 검색하고 적절하게 순위를 다시 매기고 상위 3~5위를 유지합니다. 모델은 더 적은 재료와 더 좋은 재료를 동시에 받습니다.

그 조합이 특이한데요. 대부분의 품질 개선에는 비용이 듭니다. 이는 일반적으로 올바른 소스에 기반한 답변의 비율을 높이는 동시에 모든 통화의 컨텍스트를 줄입니다.

그것이 당신에게 가치가 있는지 아는 방법

생성과 별도로 검색을 측정합니다. 올바른 구절이 포함된 실제 질문을 받고, 모델이 수신한 세트에 올바른 구절이 나타나는지, 어떤 위치에 나타나는지 확인하세요.

일반적으로 올바른 구절이 검색되었지만 순위가 5위 또는 8위인 경우 reranker가 상당히 도움이 될 것입니다. 일반적으로 전혀 검색되지 않는 경우 문제는 청크 또는 임베딩의 업스트림에 있으며 순위를 다시 지정해도 부재를 수정할 수 없습니다.

이러한 구별을 통해 낭비되는 많은 노력을 절약할 수 있으며 확립하는 데 오후가 걸립니다.

건너뛰어야 할 때

1단계 검색에서 이미 올바른 구절의 순위를 먼저 매기는 작은 말뭉치입니다. 추가 단계가 예산에 맞지 않는 지연 시간이 중요한 경로입니다. 본질적으로 조회인 쿼리로 메타데이터 필터가 순위 지정보다 더 저렴하게 작업을 수행합니다.

reranker는 보편적인 기본값이 아니라 좋은 기본값입니다.

운영상의 위치

단계를 추가하면 대기 시간과 비용이 모두 변경됩니다. 즉, 단계는 다른 모든 것과 동일한 평가 루프에 속합니다. Oran의 평가는 행동, 구조, 대기 시간 및 비용 기준을 함께 평가합니다. 정확성을 향상시키고 대기 시간 예산을 깨뜨리는 변경은 자동으로 개선되지 않으며 절충안은 발견되기보다는 눈에 보여야 합니다.

다음

순위 재지정 페이지에서는 메커니즘과 배포 옵션을 다룹니다. 개발자 문서에서는 코퍼스에 대해 수행할 가치가 있는지 알려주는 평가 세트 구축을 다룹니다.