문서는 텍스트가 아니며 구문 분석은 대부분의 검색이 조용히 실패하는 부분입니다.

검색 프로젝트는 위에서부터 디버깅되는 경향이 있습니다. 대답이 틀렸으므로 프롬프트를 검토한 다음 모델, 청킹 전략을 검토합니다. 거의 검사되지 않은 레이어는 첫 번째 레이어입니다. 즉, 문서에서 나온 텍스트가 실제로 어떻게 생겼는지입니다.

우리의 경험에 따르면 문제의 놀라운 부분이 바로 여기에 있습니다.

문서와 문자열 사이에 무슨 문제가 있나요?

읽는 순서. 2열 레이아웃은 두 열에서 교대로 조각을 추출하여 개별적으로는 문법적이지만 집합적으로는 의미가 없는 문장을 생성할 수 있습니다.

테이블. 테이블은 그 구조에 의미를 담고 있습니다. 일련의 셀 값으로 평면화되면 행 레이블과 해당 그림 사이의 관계가 사라지고 그림에 대해 질문한 에이전트는 근처에 있는 모든 것과 이를 연관시킵니다.

머리글, 바닥글 및 페이지 가구. 모든 페이지에서 반복되고 매번 추출되며, 들어오는 모든 덩어리를 희석시키고 짧은 덩어리를 지배할 수 있습니다.

각주 및 캡션. 이유 때문에 맨 아래에 렌더링되며 주석이 달린 단락에 직접 연결되는 경우가 많습니다.

스캔한 페이지. 때로는 텍스트 레이어가 전혀 없고 추출이 큰 소리로 깨지기보다는 조용히 비어 있는 경우도 있습니다.

눈에 띄지 않는 이유

이들 모두는 텍스트처럼 보이는 출력을 생성합니다. 오류도 없고 예외도 없으며 경고할 것도 없습니다. 파이프라인은 성공을 보고하고, 인덱스가 구축되며, 성능 저하는 훨씬 나중에 한 가지 질문 클래스에 대해 설명할 수 없을 정도로 신뢰할 수 없는 에이전트로 나타납니다.

누군가 조사할 때쯤에는 구문 분석 단계가 세 가지 추상화 계층을 거쳐 프로젝트가 시작된 이후로 잘 작동하고 있다는 것을 알 수 있습니다.

그것에 대해 무엇을 해야할지

자신이 추출한 텍스트를 읽어보세요. 깨끗한 문서의 샘플이 아니라, 스캔한 계약서, 가로 테이블이 있는 보고서, 양식 등 어색한 문서입니다. 10분 동안 추출 출력을 읽으면 일주일 이상의 신속한 조정이 가능함을 알 수 있습니다.

존재하는 구조를 보존합니다. 제목, 표, 섹션 경계는 청킹의 기본 단위이며 파서가 이를 유지한 경우에만 사용할 수 있습니다.

문서, 페이지, 섹션 등 모든 부분에 출처를 명시하세요. 대답이 틀리면 디버깅이 검색이 아닌 조회로 전환됩니다.

기대하기보다는 스캔한 문서를 의도적으로 처리하십시오. 텍스트 레이어가 없는 페이지는 인식이 필요하며, 인식에는 자체 품질 검사가 필요합니다.

그것이 다른 모든 것과 어떻게 연결되는지

구문 분석은 한도를 설정합니다. 검색 전략, 모델 및 프롬프트는 추출 시 구조가 파괴된 테이블을 복구할 수 없습니다. 모든 다운스트림 개선 사항은 손상된 기준선을 기준으로 측정되기 때문에 수정하는 데 가장 비용이 적게 들고 무시하는 데 가장 많은 비용이 드는 레이어입니다.

이것이 바로 평가 세트에 대표적인 문서가 아닌 어려운 문서가 포함되어야 하는 이유이기도 합니다. 깨끗한 PDF로 제작된 세트는 누군가 스캔한 PDF에 대해 질문할 때까지 모든 것이 정상이라고 보고합니다.

다음

구문 분석 페이지에서는 지원되는 형식과 구조 보존을 다룹니다. 개발자 문서에서는 청킹 및 검색을 다루고 있는데, 이는 이 레이어 바로 위의 레이어이며 전적으로 이에 의존합니다.