공개 자료에서 검색 평가 세트 구축

거의 모든 검색 개선은 구현하기 쉽고 측정 없이는 정당화가 불가능합니다. 청크 크기를 변경하면 어떤 일이 발생합니다. 그것이 개선되었는지 여부는 누구나 추측할 수 있습니다.

따라서 구축할 가치가 있는 첫 번째 인프라는 더 나은 파이프라인이 아닙니다. 답이 알려진 일련의 질문입니다.

공개 코퍼스로 시작하는 이유

내부 문서에서 평가 세트를 구축하면 즉시 두 가지 장애물, 즉 액세스 승인과 정답에 대한 불일치가 발생합니다. 둘 다 해결 가능하며 둘 다 빠르지 않습니다.

A large public reference corpus sidesteps both. 문서가 사용 가능하고 사실을 확인할 수 있으며 누구도 승인할 필요가 없습니다. 자신의 콘텐츠를 평가하는 것이 아닙니다. 즉, 결과가 직접 전송되지는 않지만 연습의 요점은 하네스를 구축하고 읽는 방법을 배우는 것입니다.

대체품이 아닌 리허설로 취급하십시오.

세트에 필요한 것

짧고 모호한 질문을 포함하여 사람들이 실제로 표현하는 방식으로 표현된 실제 질문입니다. 잘 구성된 쿼리로만 구성된 세트는 모든 시스템을 돋보이게 합니다.

각 질문에 대해 알려진 목표 구절이 있으므로 최종 답변에서 추론하는 대신 직접 검색을 측정할 수 있습니다.

실패 모드를 구별하기에 충분한 다양성: 일부 질문은 한 구절에서 대답할 수 있고, 일부 질문은 두 가지 질문이 필요하며, 일부 질문은 표에 답변이 있고, 일부 질문은 명백한 키워드가 여러 관련 없는 위치에 나타납니다.

30~50개의 질문이면 시작하기에 충분합니다. 정확성은 아무것도 갖는 것보다 중요하지 않습니다.

측정 대상

대상 통로가 전혀 검색되었는지, 어떤 위치에서 검색되었는지. 이 단일 숫자는 동일해 보이는 두 가지 실패 모드, 즉 발견되지 않은 물질과 발견되어 묻힌 물질을 구분합니다.

첫 번째는 청킹 및 임베딩으로 이동합니다. 두 번째는 순위를 다시 매기도록 보냅니다. 구별이 없으면 팀은 이미 작동 중인 레이어를 조정하는 데 일상적으로 몇 주를 소비합니다.

그런 다음 자신의 문서로 이동하세요.

하네스가 존재하고 해당 출력을 읽을 수 있게 되면 내부 문서에 대해 세트를 다시 작성하는 것은 훨씬 작은 작업입니다. 왜냐하면 어려운 부분은 말뭉치가 아니기 때문입니다. 무엇을 기록하고 무엇을 비교할지 아는 것이었습니다.

당신의 세트는 다르게 행동할 것이고, 그것이 요점입니다. 내부 어휘, 일관되지 않은 형식, 대체 버전 및 3년 동안 아무도 열지 않은 문서는 바로 공개 자료가 재생산할 수 없는 조건입니다.

보관하고 계속 사용하세요

평가 세트는 일회성 연습이 아닙니다. 이는 이후의 모든 변경 사항을 측정 가능하게 만드는 것입니다. 새로운 임베딩 모델, 다른 청킹 전략, 순위 재지정, 최적화 프로그램이 제안하는 더 저렴한 모델 등입니다.

이것이 Oran의 평가가 주기적인 감사가 아닌 모든 에이전트 실행 시 실행되는 이유입니다. 프로젝트 중에 한 번 참조된 세트는 해당 프로젝트에 대해 알려줍니다. 지속적으로 실행되는 세트는 사용자가 발견할 수 있는 오류인 무언가가 표류하는 시기를 알려줍니다.

다음

개발자 문서에서는 검색 및 순위 재지정 메커니즘을 다룹니다. 에이전트 오케스트레이션 시스템 페이지에서는 평가, 비용 및 최적화가 세 가지 개별 활동이 아닌 하나의 루프로 작동하는 방식을 다룹니다.