지식의 대부분은 텍스트가 아니며 색인에서는 이를 무시할 수도 있습니다.

엔지니어에게 시스템 아키텍처가 어디에 문서화되어 있는지 물어보면 다이어그램을 가리키는 경우가 많습니다. 검색 시스템에 동일한 질문을 하면 "아래 다이어그램 참조"라는 단락이 반환됩니다.

그 격차는 작지 않습니다. 대부분의 조직에서는 실제 지식의 의미 있는 공유가 이미지에 존재하며 표준 파이프라인에서는 이를 단락 사이의 간격으로 처리합니다.

무엇이 가능해지는가

이미지가 텍스트와 같은 공간에 삽입되면 말로 묻는 질문이 그림을 불러올 수 있다. "결제 서비스와 대화하는 것"은 이를 소개하는 문장이 아닌 아키텍처 다이어그램을 반환할 수 있습니다. 사건 설명에서는 티켓 제목 대신 오류 스크린샷을 검색할 수 있습니다.

유용한 부분은 참신함이 아닙니다. 사람들이 실제로 의존하는 물질은 그들을 위해 물건을 찾아주는 시스템에 더 이상 보이지 않는다는 것입니다.

계획할 가치가 있는 세 가지 실패 모드

장식적인 이미지. 모든 이미지가 정보를 전달하는 것은 아닙니다. 의미 있는 다이어그램과 함께 색인된 스톡 사진, 로고 및 섹션 구분선은 모든 쿼리에 노이즈를 추가합니다. 필터는 소스나 컨텍스트에 기반한 조잡한 필터라도 그 자체로 가치가 있습니다.

이미지 안의 텍스트. 스크린샷은 대부분 시각적 임베딩이 제대로 처리하지 못하는 텍스트입니다. 이들은 일반적으로 먼저 인식을 원하므로 텍스트는 검색 가능한 텍스트가 되며 참조용으로 이미지가 유지됩니다.

컨텍스트가 누락되었습니다. 차트에 캡션, 제목, 출처 문서가 포함되어 있으면 차트를 훨씬 더 쉽게 검색할 수 있습니다. 단독으로 인덱싱된 이미지는 앵커가 없는 그림이므로 검색 품질도 그에 따라 저하됩니다.

여기서는 출처가 더 중요합니다.

시스템이 단락을 반환하면 사람이 그것을 읽고 판단할 수 있습니다. 이미지를 반환할 때 판단은 전적으로 이미지의 출처와 시기를 아는 것에 달려 있습니다.

자신있게 검색된 오래된 아키텍처 다이어그램은 다이어그램이 없는 것보다 나쁩니다. 산문이 아닌 방식으로 권위 있게 보이기 때문입니다. 원본 문서, 날짜, 색인된 모든 이미지가 포함된 섹션을 휴대하는 것이 이를 안전하게 유지하는 것입니다.

평가하기

다른 모든 곳과 동일한 원칙이 적용됩니다. 즉, 정답이 이미지인 실제 질문 세트를 만들고 해당 이미지가 검색되는지 여부를 측정합니다. 최종 답변을 읽고 다중 모드 검색을 평가하면 두 레이어가 합쳐져 ​​잘못된 레이어를 조정하게 됩니다.

의도적으로 어색한 경우를 포함합니다. 작년의 거의 중복된 다이어그램입니다. 대부분 텍스트로 구성된 스크린샷입니다. 화이트보드 사진입니다. 시스템이 분리되는 곳입니다.

비용 차원

이미지는 자유롭게 색인을 생성하거나 맥락에 맞게 전달할 수 없습니다. 모든 답변에 일상적으로 이미지를 첨부하는 검색 변경은 비용 변경이며 정확도와 동일한 평가에 속합니다. 더 싼 것은 품질이 유지될 때만 더 저렴하고, 더 부유한 것은 누군가가 통화할 때마다 기꺼이 비용을 지불할 경우에만 더 좋습니다.

다음

개발자 문서에서는 임베딩 및 검색 메커니즘을 다룹니다. 에이전트 오케스트레이션 시스템 페이지에서는 이와 같은 변화를 단순히 인상적이 아닌 측정 가능하게 유지하는 평가 및 비용 계층을 다루고 있습니다.