에이전트 시간이 실제로 어디로 가는지, 추론이 거의 발생하지 않는 이유

퍼포먼스 작업은 관심을 따르고, 관심은 모델에 쏠립니다. 눈에 띄는 구성 요소이고, 토큰당 가격이 붙어 있으며, 모두가 읽는 내용입니다.

에이전트 실행을 올바르게 계측하면 작업 내용이 바뀔 만큼 상황이 달라집니다.

거친 모양

우리가 살펴본 실행 전체에서 경과 시간은 대략 네 부분으로 나뉩니다.

모델 추론은 실제이지만 일반적으로 소수입니다.

인덱스가 수행하는 모든 작업과 재순위 단계(존재하는 경우)가 수행하는 모든 작업을 포함하는 검색입니다.

시스템 외부에 도달하므로 다른 사람의 대기 시간이 발생할 수 있는 도구 호출입니다.

순차적 구조는 필요하지 않았지만 차례로 실행되는 단계로 인해 손실된 시간입니다.

비율은 작업 부하에 따라 다릅니다. 놀라운 점은 일관됩니다. 마지막 두 개는 일반적으로 팀이 예상하는 것보다 크고 아무도 최적화하지 않는 것입니다.

순차 구조는 가장 저렴한 승리입니다

검색한 다음 달력을 확인한 다음 기록을 조회하고 모델을 호출하는 에이전트는 연속으로 4번의 지연 시간을 지불했습니다. 처음 세 개는 독립적이고 동시에 실행될 수도 있는 경우가 많습니다.

이는 성능 문제라기보다는 올바른 코드처럼 보이므로 검토 후에도 살아남습니다. 이는 또한 일반적으로 사용 가능한 최대 단일 개선 사항이며 모델, 프롬프트 또는 인프라를 변경할 필요가 없습니다.

도구 호출은 다른 사람의 문제이므로 귀하의 문제가 됩니다.

내부 시스템에 도달하는 도구는 나쁜 오후를 포함하여 해당 시스템의 동작을 상속합니다. 도구 호출에 시간 초과가 없는 에이전트에는 결국 발생하게 될 무한한 최악의 사례가 있습니다.

두 가지가 도움이 됩니다. 폴백이 정의된 시간 초과로 인해 느린 종속성은 실행을 중단하는 대신 성능을 저하시킵니다. 그리고 도구별로 도구 지연 시간을 별도로 측정하므로 가끔 11초가 걸리는 지연 시간을 평균화하는 대신 눈으로 확인할 수 있습니다.

재시도는 시간이자 돈이다

우리는 비용 측면에서 재시도에 대해 자주 작성합니다. 또한 다시 시작하는 실패한 실행은 하나의 결과에 대해 전체 경과 시간을 두 번 지불하기 때문에 이는 대부분의 시스템에서 가장 큰 단일 대기 시간 승수이기도 합니다.

재시도 성공의 평균을 나타내는 대기 시간 수치는 사용자에게 발생하지 않는 일을 설명합니다.

평균이 아닌 백분위수를 측정하세요.

에이전트 실행 기간이 심하게 편향되어 있습니다. 일반적으로 느린 도구, 재시도 또는 예상보다 많은 단계를 거치는 에이전트로 인해 작은 비율의 실행이 나머지 실행보다 훨씬 오래 걸립니다.

해당 분포의 평균은 실제 실행이 없음을 나타내는 숫자입니다. 높은 백분위수는 상황이 좋지 않은 날 사용자가 경험하는 것이며 대기 시간 예산을 기준으로 설정해야 하는 것입니다.

어디서부터 시작해야 할까요?

네 가지 범주를 별도로 계측합니다. 백분위수를 보세요. 순차적이고 독립적인 단계를 찾아보세요. 도구에 시간 초과를 설정합니다. 성공을 제외하고 재시도 횟수를 계산합니다.

그 작업은 매력이 없으며 일반적으로 모델 변경보다 더 많은 결과를 낳습니다. 이는 우리가 작성하는 거의 모든 글에서 반복되는 주제입니다.

다음

AI 관찰 가능성 페이지에서는 실행 내부의 계측을 다룹니다. 에이전트 오케스트레이션 시스템 페이지에서는 별도로 관찰하는 대신 비용 및 정확성과 함께 대기 시간을 평가하는 평가를 다룹니다.