에이전트 워크로드가 인프라 계획에 미치는 영향

인프라 계획은 일반적으로 수요의 형태에 대해 뭔가를 가정합니다. 즉, 사용자와 상관관계가 있고 하루 종일 예측 가능하며 한 요청의 비용은 다른 요청의 비용과 비슷합니다.

상담원 작업량은 세 가지 가정을 모두 깨뜨리며, 팀은 예측이 더 이상 유용하지 않은 분기에 이를 발견하는 경향이 있습니다.

수요는 인원수가 아니라 신뢰를 따릅니다.

기존의 용량은 시스템을 사용하는 사람의 수에 따라 확장됩니다. 에이전트 사용량은 팀이 에이전트를 얼마나 신뢰하는지에 따라 확장됩니다. 이는 완전히 다른 변수이며 원활하지 않고 단계적으로 진행됩니다.

에이전트 한 명을 신뢰하는 팀이 가끔 운영합니다. 3개월 후 같은 팀은 그것이 작동하는 것을 지켜본 후 이를 통해 전체 작업 범주를 전달합니다. 조직에 대해서는 아무것도 바뀌지 않았습니다. 부하가 배가되었습니다.

이것이 바로 첫 번째 달에 편안한 용량이 여섯 번째 달에 부족한 경우가 많고 사용자 수를 기반으로 한 예측이 비용이 많이 드는 방향으로 잘못되는 이유입니다.

한 번의 실행은 한 번의 요청이 아닙니다.

단일 에이전트 실행에는 검색, 여러 모델 호출, 여러 도구 호출 및 확인 단계가 포함될 수 있습니다. 단순한 실행과 복잡한 실행 사이의 차이는 엄청나며 평균은 이를 잘 숨깁니다.

평균 실행당 비용을 계획하면 꼬리 부분이 과소평가되고 꼬리 부분은 예산이 실제로 소비되는 부분입니다. 일반적으로 작은 비율의 실행이 지출의 큰 부분을 차지합니다.

재시도는 눈에 보이지 않는 승수입니다

중간에 실패하고 다시 시작한 에이전트는 전체 실행에 대해 두 번 비용을 지불하고 하나의 결과를 생성합니다. 성공과 재시도를 별도로 측정하지 않는 한 이는 수정 가능한 실패라기보다는 평균 비용이 더 높은 것으로 나타납니다.

우리가 살펴본 대부분의 배포에서 재시도는 처리 가능한 단일 낭비 중 가장 큰 낭비이며 눈에 띄는 오류가 없기 때문에 놓치기 가장 쉽습니다.

동시성은 본질적으로 폭발적입니다.

에이전트 작업이 한꺼번에 도착합니다. 일괄 작업이 시작되고, 사건으로 인해 20개의 병렬 조사가 트리거되고, 예약된 실행이 팀 전체에서 동시에 실행됩니다.

평균 크기의 용량은 버스트 중에 대기열에 들어가며 대화형 에이전트의 대기열은 기능이 중단되는 것과 구별할 수 없습니다.

계획하기 전에 계측해야 할 사항

작업 공간당이 아닌 에이전트당 비용 및 대기 시간입니다. 성공과 별도로 재시도합니다. 두꺼운 꼬리 분포의 평균은 유용한 계획 수치가 아니기 때문에 평균보다는 백분위수입니다. 실행당 걸음 수가 계산되므로 방황하는 에이전트가 예산에 쫓기기 전에 눈에 띕니다.

이 4개가 있으면 예측이 가능해집니다. 이러한 기능이 없으면 용량 계획은 자체 차이를 숨기는 숫자를 토대로 추정하는 것입니다.

예산이 적합한 곳

회로 차단기 예산은 재정적 예산만큼이나 용량 제어이기도 합니다. 작업 공간 및 팀당 엄격한 제한(도달 시 경고 표시, 도달 시 차단 포함)은 월별 보고서가 할 수 없는 방식으로 최악의 사례를 제한합니다.

이는 용량 초과가 다른 사람의 확장 문제가 아닌 자체 호스팅 배포에서 가장 중요합니다.

다음

AI 관찰 가능성 및 토큰 모니터링 페이지에서는 계측을 다루고 배포 페이지에서는 자체 호스팅 및 에어 갭 용량 고려 사항을 다룹니다.