상담사를 위한 지연 시간 예산, 아무도 설정하지 않는 이유

팀에 에이전트 비용이 얼마인지 물어보면 번호를 얻을 수 있습니다. 좋은 결과물이 어떤 것인지 물어보면 일반적으로 기준을 얻을 수 있습니다. 얼마나 오래 걸릴 수 있는지 물어보면 잠시 멈출 것입니다.

대기 시간은 나타나는 속성이 아니기 때문에 이러한 일시 중지는 이후에 많은 불만이 발생하는 곳입니다. 이는 다른 이유로 내려진 결정의 결과입니다.

모든 품질 개선에는 시간이 걸립니다

더 많은 후보자를 검색하고 순위를 다시 매기면 더 나은 기초 지식과 더 많은 시간을 확보할 수 있습니다. 확인 단계를 추가하면 확실한 오류가 줄어들고 시간은 늘어납니다. 상담원에게 또 다른 도구를 제공하세요. 모든 통화에서 더 많은 기능과 더 많은 컨텍스트를 처리할 수 있습니다.

이들 중 어느 것도 잘못된 것이 없습니다. 그것은 거래이고 한쪽에서 예산 없이 이루어진 거래는 거래가 아니라 표류입니다. 과거에는 상호작용적이었던 것이 이제는 그렇지 않다는 것을 누군가가 알아차릴 때까지 시스템은 한 번에 하나의 합리적인 결정을 내리기까지 속도가 느려집니다.

시간이 실제로 어디로 가는지

사람들이 가정하는 곳은 거의 없습니다. 우리가 살펴본 에이전트 실행에서 분포는 상당히 일관적입니다. 모델 추론에서는 소수, 검색 및 도구 호출에서는 상당한 비중, 병렬로 실행될 수 있었지만 체인으로 작성된 순차적 단계에서는 놀라울 정도로 큰 비중을 차지했습니다.

마지막 문제는 일반적으로 성능 문제라기보다는 올바른 코드처럼 보이기 때문에 수정 비용이 가장 저렴하고 검사도 가장 적습니다.

재시도는 또 다른 조용한 소비자입니다. 실패하고 다시 시작하는 에이전트는 하나의 결과에 대해 전체 대기 시간을 두 배로 지불하며, 성공과 재시도를 별도로 측정하지 않는 한 집계 수치는 이를 숨깁니다.

인터랙티브와 배경은 다른 제품입니다.

지연 시간 예산은 맥락에 따른 의미만을 의미합니다. 사람이 기다리고 있는 상담원의 예산은 초 단위로 측정되며, 이를 초과하면 출력 품질에 관계없이 기능이 손상된 것처럼 느껴집니다.

대기열에서 밤새 실행되는 에이전트는 20분이 걸릴 수 있으며 아무도 신경 쓰지 않습니다. 이는 대화형 에이전트가 할 수 없는 확인 단계, 더 넓은 검색 및 느린 모델을 감당할 수 있음을 의미합니다.

에이전트를 이런 방식으로 분류하는 팀은 훨씬 더 나은 결정을 내립니다. 동일한 기술이 한 상황에서는 옳고 다른 상황에서는 틀리기 때문입니다.

평가의 일부로 삼으세요

이것이 바로 Oran의 평가에서 지연 시간을 별도로 읽는 운영 측정 항목으로 처리하는 대신 행동, 구조 및 비용 기준과 함께 점수를 매기는 이유입니다.

정확성을 높이고 응답 시간을 두 배로 늘리는 변경은 자동으로 개선되지 않으며 정확성만 점수를 매기는 시스템은 이를 개선으로 보고합니다. 네 가지를 모두 합치면 거래가 이루어진 순간에 거래가 명백해지며, 이것이 재고하기에 비용이 적게 드는 유일한 지점입니다.

합리적인 출발점

대충이라도 구축하기 전에 예산을 적어두고 에이전트를 인터랙티브 또는 백그라운드로 분류하세요. 예산이 단순히 초과되기보다는 귀속될 수 있도록 검색, 도구 호출 및 추론을 별도로 측정합니다. 성공을 제외하고 재시도 횟수를 계산합니다. 그런 다음 품질 회귀를 처리하는 방식으로 대기 시간 회귀를 처리합니다. 즉, 회의에서 발견된 것이 아니라 검사에 실패한 것으로 간주합니다.

다음

에이전트 오케스트레이션 시스템 페이지에서는 평가 계층과 비용, 품질 및 대기 시간을 함께 평가하는 방법을 다룹니다. 관찰 가능성 페이지는 실행 내에서 시간이 소요되는 위치를 다룹니다.