에이전트 프로그램이 파일럿 단계에서 중단되는 이유

패턴은 예측할 수 있을 만큼 일반적입니다. 파일럿은 잘 진행되고 경영진은 기뻐하며 롤아웃이 발표됩니다. 8개월 후 동일한 세 명의 에이전트가 실행되고 있으며 다른 어떤 것도 움직이지 않았습니다.

누구도 멈추기로 결정하지 않습니다. 프로그램은 단순히 진행을 멈추고, 그 이유를 살펴보면 누구도 예상했던 일이 거의 없습니다.

파일럿은 성공하도록 선택되었습니다

파일럿은 일반적으로 잘 정의된 작업, 깨끗한 데이터, 열정적인 팀, 여유 시간이 있는 챔피언 등 입증 가능성을 위해 선택됩니다.

두 번째 사용 사례에는 이들 중 하나가 없습니다. 데이터는 지저분하고, 프로세스는 경쟁적이며, 팀은 분주하며, 이를 처리할 여력이 없습니다. 조종사는 기술이 유리한 조건에서 작동한다는 것을 입증했는데, 이는 결코 공개적인 질문이 아니었습니다.

두 번째 것을 소유한 사람은 아무도 없습니다.

조종사에게는 챔피언이있었습니다. 출시에는 프로그램이 있습니다. 프로그램은 소유자가 아니며 소유자가 지정되지 않은 에이전트는 유지 관리되지 않으므로 6개월 내에 이에 대한 책임을 맡을 사람이 없는 두 번째 물결이 도래합니다.

이것은 우리가 볼 수 있는 가장 신뢰할 수 있는 단일 예측 변수입니다. 모델 선택도 아니고, 예산도 아니고, 정교함도 아닌, 각 에이전트에 이름이 붙은 사람이 있는지 여부.

품질은 느낌으로 평가되었습니다.

파일럿에서는 도메인을 이해하는 한 사람이 출력을 읽고 판단합니다. 이는 한 명의 에이전트에게는 효과가 있지만 10개 에이전트에는 적용되지 않습니다. 주의가 확장되지 않고 품질에 대한 의견 불일치에 심판이 없기 때문입니다.

서면 기준과 자동 채점이 없으면 모든 신규 상담원은 무한정 인간 평가자가 필요하며 프로그램은 평가자 수에 따라 제한됩니다. 파일럿 기간 동안 평가를 작성한 팀은 이를 통과합니다. 스케일링이 스케일링 검토를 의미한다는 사실을 발견하지 못한 팀.

정확히 엉뚱한 순간에 비용이 드러났습니다.

파일럿 지출은 아무도 묻지 않을 만큼 적습니다. 롤아웃 비용은 그렇지 않으며 프로그램에 비용이 들고 완료된 결과가 거의 없는 분기에 문제가 발생합니다.

상담원별로 지출이 계산되지 않으면 답변이 없습니다. "AI는 우리에게 이만큼의 비용을 지불합니다"는 일반적으로 AI에 대한 결정을 유도하며, 이는 거의 항상 속도를 늦추는 결정입니다. "이 에이전트는 이 비용을 지불하고 이것을 생산합니다"는 해당 에이전트에 대한 결정을 유도하는 대화입니다.

조직은 그것이 무엇인지 결정하지 않았습니다

기술적 이유가 가장 적고 가장 일반적입니다. 조종사는 목표에 대해 누구도 동의하지 않고도 성공할 수 있습니다. 왜냐하면 목표는 그것이 작동하는지 확인하는 것이기 때문입니다. 프로그램은 할 수 없습니다.

정체된 팀은 일반적으로 1년 후의 성공이 어떤 모습일지 대답할 수 없습니다. 규모를 확장한 팀에는 비록 미미하더라도 특정한 것이 있었습니다. 그 당시에는 이 정도의 작업 범주, 이 정도의 작업, 이 정도 품질이었습니다.

합격한 이들의 공통점

첫날부터 에이전트별 및 명명된 소유자별 기여입니다. 구축 전 평가기준을 작성합니다. 경고하기보다는 차단하는 예산. 입증 가능성보다는 대표성을 위해 선택된 두 번째 사용 사례입니다. 그리고 틀릴 만큼 구체적으로 명시된 목표.

그 어느 것도 정교하지 않습니다. 이 모든 것은 확장 이후보다 확산 이전에 설치하는 것이 더 쉽습니다.

다음

에이전트 오케스트레이션 시스템 페이지에서는 소유권, 속성, 예산 및 평가를 다룹니다. 패턴에 대해 읽는 것보다 특정 프로그램에 대해 논의하고 싶다면 데모를 예약하고 제약 조건을 가져오세요.