임베딩이 실제로 당신에게 약속하는 것

임베딩 선택은 일반적으로 초기에 신속하게 이루어진 다음 하중을 견디게 됩니다. 6개월 후 인덱스가 증가하고 여러 시스템이 이를 쿼리하며 마음을 바꾸는 데 드는 비용은 더 이상 구성 변경이 아닙니다.

이는 초기 선택을 두고 고민하라는 주장이 아니다. 선택을 저렴하게 재검토할 수 있도록 설정하자는 주장이다.

실제로 잠겨있는 것은 무엇입니까?

벡터 자체. 이는 동일한 모델에서 생성된 벡터와만 비교할 수 있으므로 변경은 전체 코퍼스를 마이그레이션하는 것이 아니라 다시 포함하는 것을 의미합니다.

말뭉치 크기에 따른 저장 및 쿼리 비용을 결정하고 말뭉치가 커지기 전에는 추론하기 어려운 차원입니다.

특정 어휘에 대한 행동. 내부 제품 이름, 약어 및 도메인 용어는 모델마다 다르게 처리되며 이는 누군가가 임베딩 레이어에 연결하기 훨씬 전에 검색 품질에 나타납니다.

항상 원시 텍스트를 유지하세요.

가장 유용한 습관은 눈에 띄지 않는 것입니다. 원본 텍스트를 출처와 함께 벡터와 함께 저장하는 것입니다.

소스를 버리고 벡터만 유지하는 팀에서는 데이터 복구 연습을 다시 포함시켰습니다. 텍스트를 보관한 팀은 대안을 평가하고 싶을 때마다 전체 코퍼스를 일괄 작업으로 다시 포함할 수 있습니다. 즉, 결정이 열려 있음을 의미합니다.

이를 위해서는 스토리지 비용이 저렴하지만 그렇지 않은 선택성을 구입합니다.

벤치마크가 아닌 어휘로 평가하세요.

일반 벤치마크는 모델이 일반 언어에서 어떻게 작동하는지 알려줍니다. 당신의 말뭉치는 일반적이지 않습니다. 여기에는 서비스 이름, 팀이 티켓에 사용하는 약어, 정책에 작성된 문구가 포함됩니다.

자신의 문서에 대한 실제 쿼리 세트를 작성하고 이에 답해야 하는 구절을 포함하여 검색을 직접 측정합니다. 해당 세트는 영원히 재사용할 수 있습니다. 임베딩 모델, 청킹 전략, 순위 변경자 및 나중에 변경하는 기타 사항을 평가합니다.

또한 옹호자들의 의견이 아닌 "다른 임베딩 모델을 시도해야 한다"는 질문을 답으로 만드는 유일한 방법이기도 합니다.

일반적으로 하이브리드가 실용적인 답변입니다.

의미 검색은 다른 단어에서 동일한 의미를 찾는 항목을 찾습니다. 키워드 검색은 누군가가 붙여넣은 정확한 오류 코드를 찾습니다.

대부분의 실제 쿼리 세트에는 두 종류가 모두 포함되어 있으며, 두 가지를 결합한 시스템은 사람들이 실제로 요청하는 혼합 현실에서 단독으로 뛰어난 성능을 발휘합니다. 이것은 정교한 기술이 아니며 의미론적 검색 데모가 더 좋기 때문에 놀라울 정도로 자주 건너뜁니다.

운영 관점

임베딩은 누군가가 행동하는 답변으로 끝나는 체인의 일부이며 품질 차원과 비용 차원을 모두 갖습니다. 대규모 자료를 다시 포함하는 것은 실제 비용입니다. 모든 쿼리에 큰 벡터를 전달하는 것은 무한정 반복되는 더 작은 비용입니다.

둘 다 에이전트의 나머지 행동과 동일한 평가 루프에 속하므로 평가에서는 지연 시간과 비용을 별도의 문제로 취급하지 않고 정확성과 함께 점수를 매깁니다.

다음

개발자 문서에서는 임베딩 및 검색 메커니즘을 다룹니다. 에이전트 오케스트레이션 시스템 페이지는 이와 같은 결정을 되돌릴 수 있도록 유지하는 평가 계층을 다룹니다.