AI 소유의 총 비용은 송장에 있는 숫자가 아닙니다.

엔지니어링 리더에게 에이전트 비용이 얼마인지 물어보면 일반적으로 공급자 대시보드에서 숫자를 얻을 수 있습니다. 그것은 실수입니다. 또한 아무도 실제로 묻지 않는 질문에 답하기 때문에 가장 흥미롭지 않은 것이기도 합니다.

문제는 "지난 달 추론에 얼마를 썼는가"가 아닙니다. "우리가 운영하는 것 중 어떤 것이 비용만큼 가치가 있는지, 그리고 누가 결정하는지"입니다. 그 질문은 형태가 다르며 공급자 송장에서는 이에 답할 수 없습니다.

항목으로 표시되지 않는 4가지 비용

• 재시도. 중간에 실패하고 다시 시작하는 에이전트는 하나의 결과에 대해 두 번 비용을 청구합니다. 전체적으로 볼 때 이는 작은 경우가 거의 없으며 성공과 별도로 측정되는 경우도 거의 없습니다.
• 아무도 다듬지 않은 맥락. 프롬프트는 구성 파일이 커지는 방식으로 커집니다. 누군가는 극단적인 경우를 수정하기 위해 단락을 추가하고 아무도 이를 제거하지 않습니다. 이후의 모든 실행은 해당 단락에 대한 비용을 영원히 지불합니다.
• 상담원에게 전혀 필요하지 않은 도구입니다. 도구 정의는 사용 여부에 관계없이 모든 단일 호출의 컨텍스트에 위치합니다. 사용하지 않은 도구 12개는 실행할 때마다 영구적인 세금이 됩니다.
• 고아 에이전트. 누군가 프로젝트를 위해 그것을 만들었습니다. 프로젝트가 종료되었습니다. 대리인은 그렇지 않았습니다. 에이전트당 소유자가 없으면 시스템에서 아무것도 알 수 없습니다.

이들 중 어느 것도 이국적인 실패가 아닙니다. 이는 신속하게 구축한 정상적인 결과이며, 그 중 어느 것도 조사를 촉발할 만큼 크지 않기 때문에 조용히 복합됩니다.

귀속 문제가 먼저 발생합니다.

귀속할 수 없는 비용은 줄일 수 없습니다. 이는 명백해 보이지만 어트리뷰션은 지루한 작업이고 대시보드에 이미 숫자가 표시되어 있기 때문에 일상적으로 건너뛰게 됩니다.

Oran 3.1은 바로 이러한 이유로 존재했습니다. 에이전트당 지출을 계산하고 사용자 및 모델별로 분류하여 토큰이 아닌 통화로 보고했습니다. 그것은 누군가가 잘 시연하는 기능이 아닙니다. "AI는 비싸다"를 "이 에이전트는 이 정도 비용이 들고 이것을 생산한다"로 바뀌기 때문에 이후의 모든 대화를 가능하게 만드는 것입니다.

그러한 변화가 일어날 때까지 비용 관리는 예산이 포함된 추측에 불과합니다.

보고는 통제가 아니다

두 번째 문제는 타이밍이다. 월별 보고서는 이미 발생한 초과실행에 대해 알려줍니다. 이는 통제라기보다는 회계 활동입니다.

서킷 브레이커 예산은 작업 공간 및 팀당 한도, 한도에 도달할 때 경고, 도달 시 자동 차단, 나머지 주기에 대한 예측 등 이러한 격차를 해소합니다. 경고와 차단의 차이는 절차적인 것으로 들립니다. 그렇지 않습니다. 그 중 하나는 정보이고, 다른 하나는 금요일 저녁에 대시보드를 보는 사람이 있는지 여부에 관계없이 내려지는 결정입니다.

잘못된 숫자에 대한 최적화의 함정

팀이 다치는 곳이 바로 여기입니다. 지출이 표시되면 본능적으로 이를 잘라내고, 잘라내는 것은 쉽습니다. 더 작은 모델을 사용하고, 프롬프트를 단축하고, 확인 단계를 제거합니다. 지출은 즉시 떨어지고 품질은 약간 늦게 떨어지며, 아무도 측정하지 않는 곳입니다.

이것이 바로 최적화가 평가에 대해 측정될 때만 작동하는 이유입니다. Oran 3.4는 모델 및 신속한 최적화, 도구 트리밍 및 하이브리드 에이전트 변환을 통해 비용을 절감하며 이러한 모든 변경 사항은 실행되기 전에 자체 평가를 통해 점수가 매겨집니다. 더 싼 것은 출력이 정의한 검사를 통과하는 경우에만 더 저렴합니다. 그렇지 않으면 비용을 절약하지 못한 것이며 비용을 찾는 데 더 많은 비용이 드는 곳으로 미루게 됩니다.

우리가 가장 먼저 측정할 것은

공급자 송장만 보고 시작하는 경우 우리가 보는 팀에 대해 효과가 있었던 순서는 상당히 일관됩니다.

무엇보다 먼저 상담원당 속성 지출을 확인하세요. 모든 에이전트에게 명명된 소유자를 지정합니다. 경고보다는 차단하는 예산을 설정하세요. 가장 큰 규모의 에이전트, 심지어 조잡한 에이전트에 대한 평가를 작성합니다. 그런 다음 최적화를 시작하고 해당 평가와 비교하여 모든 변경 사항을 확인하십시오.

빠른 순서는 아닙니다. 실제 목표인 기획회의에서 방어할 수 있는 숫자로 끝나는 것입니다.

다음엔 어디로 갈까

AI 지출 탐색기는 프로젝트가 아닌 시작점을 원하는 경우 몇 분 안에 초과 지출을 찾아냅니다. 전체 그림을 원한다면 에이전트 오케스트레이션 시스템 페이지에서 네 가지 도구가 아닌 하나의 시스템으로 속성, 예산, 평가 및 최적화를 다룹니다.