에이전트는 코퍼스에서 제외된 만큼만 우수할 수 있습니다.

상담원이 오답을 하면 조사는 대개 순위부터 시작됩니다. 올바른 통로가 검색되었는지, 어디에 앉아 있었는지.

정직한 대답의 놀라운 점은 올바른 구절이 없었다는 것입니다. 상담원에게 필요한 정보가 서면 형식으로 존재하지 않거나 색인이 생성되지 않은 곳에 존재합니다.

부재가 침묵보다 자신감을 낳는 이유

존재하지 않는 것을 요청한 검색 시스템은 아무것도 반환하지 않습니다. 순위가 결정되기 때문에 가장 가까운 것을 반환합니다.

그런 다음 에이전트는 주제적으로 인접하고 실제로 관련이 없는 자료를 수신하고 이에 기반한 답변을 생성합니다. 출력에 인용이 있습니다. 헤지보다 더 잘 지원되는 것처럼 보입니다.

그것은 최악의 실패 모드입니다: 틀리고, 자신감 있고, 출처가 분명한 것입니다.

일반적으로 공백이 있는 곳

사람들 속에 사는 지식. 한 명의 고객에게 항상 발생하는 예외입니다. 프로세스에 중복되어 보이는 단계가 있는 이유 모두가 알고 있었기 때문에 아무도 그것을 적지 않았습니다.

색인이 생성되지 않은 형식의 지식입니다. 이미지, 스프레드시트, 녹음 파일, 다이어그램, 연결되지 않은 공유 드라이브.

누락된 것이 아니라 오래된 지식입니다. 부재보다 더 나쁜 것은 잘 회복되고 틀리기 때문이다. 어떤 표시도 없는 대체된 정책은 수년 동안 자신있게 반환됩니다.

지식은 누구도 볼 수 없습니다. 올바르게 제한되었으며 상담원의 답변이 사용자가 감지할 수 없을 정도로 불완전합니다.

사용자가 찾기 전에 찾는 방법

당신이 대답할 수 있는 질문이 아니라 사람들이 실제로 묻는 질문으로 평가 세트를 구축하세요. 모든 것이 괜찮다고 보고하는 세트를 생성하는 코퍼스에 답이 있는 질문을 작성하고 싶은 유혹이 있습니다.

그런 다음 정확성과는 별개로 측정합니다. 각 질문에 대해 적절한 출처가 존재합니까? 이는 실패를 "찾을 수 없음"과 "없음"으로 나누며, 해결 방법은 완전히 다릅니다. 하나는 색인 프로젝트입니다. 다른 하나는 글쓰기 프로젝트이다.

가장 가치 있는 결과물은 격차 목록입니다.

누락된 부분에 대한 정직한 감사는 다른 튜닝 주기보다 더 유용하며, 조직에서는 지속적으로 이를 과소평가합니다.

문서화할 내용, 연결할 내용, 폐기할 내용을 알려줍니다. 이는 또한 검색 시스템이 한계에 가까웠는지 또는 근처에도 없는지 여부를 알 수 있는 유일한 방법이며, 이를 통해 추가 튜닝이 시간을 들일 가치가 있는지 여부를 결정합니다.

불확실성을 평탄화하기보다는 표시

격차를 해소할 수 없는 경우 시스템은 그렇게 말해야 합니다. "현재 소스를 찾을 수 없습니다"라고 대답하는 에이전트는 능력이 떨어지는 것으로 읽혀도 인접한 자료에서 유창한 답변을 생성하는 에이전트보다 더 유용합니다.

이는 구성 결정이자 문화적 결정입니다. 명백한 자신감을 보상하는 팀은 자신감 있는 시스템을 갖게 되며, 자신감이 가장 보장되지 않는 곳에 시스템을 구축합니다.

이것이 Yaju Labs에 속하는 이유

우리의 연구는 조직이 에이전트를 생성, 사용, 관리 및 개선하는 방법과 코퍼스 격차가 개선 절반에 정확히 위치하는지에 관한 것입니다. 어떠한 모델 변경도 부재를 해결하지 못하므로, 이는 마땅히 받아야 할 것보다 관심을 덜 받는 일종의 운영 문제가 됩니다.

다음

Yaju Labs 페이지에서는 연구 프로그램을 다루고 있으며 개방형 개발 커뮤니티에는 무료로 가입할 수 있습니다. 개발자 문서에서는 검색, 청크 및 출처를 다룹니다.