전사는 전사 문제가 아니라 입력 문제입니다.

단어 정확도가 뛰어난 녹취록은 상담원에게 여전히 거의 쓸모가 없을 수 있으며 그 이유는 음향적이라기보다는 구조적입니다.

한 시간짜리 회의를 깨지지 않는 올바른 단어 블록으로 렌더링한다고 생각해 보세요. 모든 용어가 옳습니다. 누가 말했는지, 한 주제가 어디서 끝났는지, 어떤 문장이 결정인지, 어떤 문장이 큰 소리로 생각했는지를 나타내는 것은 없습니다. 작업 항목을 추출하도록 요청받은 에이전트는 모든 작업 항목을 산문에서 재구성해야 하며, 자신감을 갖고 가끔 발명을 통해 그렇게 할 것입니다.

상담원에게 실제로 필요한 것

• 화자 귀속. "우리는 연기해야 ​​한다"는 말은 누가 말했느냐에 따라 의미가 달라지며, 에이전트는 텍스트만으로는 권위를 추론할 수 없습니다.
• 세그먼트 경계. 주제 이동은 검색 경계가 속하는 곳입니다. 그것들이 없으면 전체 시간은 하나의 덩어리이고, 하나의 덩어리는 검색할 수 없습니다.
• 처리 후에도 살아남는 타임스탬프. 대리인이 결정이 내려졌다고 주장하는 경우 결정이 내려진 순간으로 이동할 수 있는 능력이 주장과 인용의 차이를 만듭니다.
• 신뢰 신호. 시스템에서 어렵다고 판단한 구절은 확실하게 읽을 수 있는 유창한 텍스트로 다듬기보다는 그 자체로 표시해야 합니다.

이는 정확성을 바탕으로 한 개선이 아닙니다. 이것이 바로 정확성을 유용하게 만드는 것입니다.

자신감 평활화 실패

우리가 가장 자주 보는 실패 모드는 모호성을 조용히 해결하는 시스템입니다. 오디오는 불분명했으며 출력은 추측이라는 표시가 없는 깨끗한 문장입니다.

다운스트림에서 에이전트는 다른 모든 문장을 처리하는 것처럼 해당 문장을 처리하고 재구성은 누군가가 수행하는 요약의 사실이 됩니다. 해당 오류는 상담원에게서 발생한 것이 아니었고, 상담원도 이를 알 수 없었습니다.

그 자체의 불확실성을 표시하는 녹취록은 읽기에 덜 즐겁고 기반을 다지는 데 훨씬 더 안전합니다.

이것이 에이전트 시스템에 적합한 경우

전사는 체인의 시작입니다. 오디오는 텍스트가 되고, 텍스트는 덩어리가 되고, 덩어리는 검색된 컨텍스트가 되고, 컨텍스트는 누군가가 의존하는 답변이 됩니다. 첫 번째 단계에서 발생한 결함은 마지막 단계에서는 보이지 않습니다.

이것이 바로 우리가 성적표 품질을 별도의 조달 결정이 아닌 평가 루프의 일부로 취급하는 이유입니다. 평가에서 최종 답변만 점수로 매기면 검색 실패와 전사 실패가 동일해 보이고 잘못된 레이어를 조정하는 데 몇 주가 소요됩니다.

실용적인 조언

깨끗한 샘플이 아닌 직접 오디오로 평가해보세요. 실제 녹음에는 누화, 악센트, 배경 소음 및 조직의 특정 어휘가 포함되어 있으며 이것이 바로 시스템이 갈라지는 조건입니다.

그런 다음 실제로 원하는 것을 평가하십시오. 즉, 단어 오류율이 아니라 상담원이 녹음에 대해 실제 질문을 했는지 여부가 올바른 구절을 검색하고 올바르게 대답하는지 여부입니다. 이는 링크가 아닌 체인을 측정합니다.

다음

전사 페이지에서는 녹음이 남을 수 없는 자체 인프라 내에서 실행하는 것을 포함하여 언어 적용 범위 및 배포 옵션을 다룹니다. 에이전트 오케스트레이션 시스템 페이지는 전체 체인을 측정 가능하게 유지하는 평가 계층을 다룹니다.