에이전트 플랫폼 평가를 위한 체크리스트

우리가 보는 대부분의 평가 프로세스는 데모에 노력의 80%를 소비하고 그 밖의 모든 것에 20%를 소비합니다. 데모는 모든 전문 공급업체가 연습한 부분이기 때문에 그 비율은 반대입니다.

여기에 우리가 사용할 목록이 있습니다.

기여도 및 비용

작업 공간당이나 월별이 아닌 에이전트당 지출을 표시할 수 있나요? 사용자별, 모델별로 분류되어 있나요? 토큰이 아닌 통화로 보고되나요?

팀별로 경고 대신 차단하는 제한을 설정하고 나머지 주기에 대한 예측을 볼 수 있습니까?

첫 번째에 대한 대답이 '아니요'인 경우 해당 플랫폼의 비용 관리는 나중에 청구서를 읽는 것을 의미합니다.

소유권 및 수명주기

모든 상담원은 상담원의 자산으로 명명된 소유자를 갖고 있습니까? 아니면 고객이 스프레드시트에서 유지해야 하는 규칙입니까?

주인이 떠나는 대리인은 어떻게 되나요? 6개월 동안 아무도 건드리지 않은 에이전트를 시스템에 알아차리는 것이 있습니까?

고아 에이전트는 모든 프로그램의 조용한 비용이며 플랫폼이 표시 여부에 따라 엄청나게 다릅니다.

정책 시행

프롬프트, 오케스트레이션 레이어 또는 작업이 발생하는 지점 등 경계가 적용되는 위치는 어디입니까?

이는 벤더 간 격차가 가장 큰 질문이자 가장 쉽게 막연하게 대답하는 질문이다. "에이전트에게 하지 말라고 지시했습니다"는 시행이 아닙니다. 물리적으로 행동을 방해하는 것이 무엇인지 물어보십시오.

자격 증명은 에이전트에 어떻게 도달하나요? 답변에 비밀을 보유한 에이전트가 포함된 경우 철회가 어떻게 생겼는지 물어보세요.

평가

샘플이 아닌 모든 실행에서 정의한 기준에 따라 출력을 자동으로 채점할 수 있습니까?

검사에 실패하면 실행이 중단될 수 있습니까? 아니면 채점을 통해 나중에 읽을 보고서만 생성됩니까?

기준은 정확성과 함께 비용과 대기 시간을 포함합니까, 아니면 정확성만 포함합니까? 품질을 평가하지 않고 비용을 최적화하는 플랫폼은 시스템을 더 저렴하고 나쁘게 만들 것입니다.

감사

모든 상담원의 작업이 기록되나요, 아니면 샘플인가요? 수출이 가능한가요? 에이전트가 수행한 작업뿐만 아니라 수행한 작업도 포함됩니까?

규제 기관에서 11개월 전에 특정 출력이 생산된 이유를 묻는다면 무엇을 건네주겠습니까?

배포 및 종료

인프라 내부, 자체 클라우드에서 완전히 에어갭으로 실행될 수 있습니까? 해당 모드에서 거버넌스가 동일합니까, 아니면 축소됩니까?

그리고 한 사람이 건너뛰는 것은 떠나는 것이 어떤 모습인지입니다. 계속 사용할 수 있는 형식으로 데이터와 에이전트 정의를 내보낼 수 있습니까? 떠날 수 없는 플랫폼은 선택이 아니라 의존입니다.

우리에 대해 물어볼 질문

우리는 당신이 이것을 직접 물어봤으면 좋겠습니다. 우리는 귀하의 데이터를 교육하지 않습니다. 처리는 기본적으로 EU에서 이루어지며 고정될 수 있습니다. 거버넌스는 자체 호스팅 및 에어갭 방식과 동일합니다. 당사의 하위 처리자 목록은 요청 시 제공되며 개인 데이터를 처리하는 하위 처리자 목록을 추가하기 전에 알려드립니다.

우리가 약한 부분: 고립된 배포는 집합적 행동에 의존하는 어떤 것에서도 이점을 얻을 수 없으며, 에어 갭 운영은 지원 및 진단 작동 방식을 변경합니다. 둘 다 실행 가능하며 발견하기보다는 미리 알아 두는 것이 좋습니다.

다음

보안 센터에서는 규정 준수, 하위 프로세서 및 보안 보고를 다룹니다. 조달 설문지는 contact@capconsultor.eu로 갈 수 있습니다.