더 큰 모델이 잘못된 답인 경우

에이전트가 잘못된 출력을 생성합니다. 누군가 더 큰 모델을 제안합니다. 이는 명백한 움직임이고 정당화하기 쉬우며 대략 절반의 시간 동안 송장 외에는 아무것도 변경되지 않습니다.

먼저 물어볼 가치가 있는 질문은 이것이 어떤 종류의 실패였는가이다.

동일해 보이지만 동일하지 않은 네 가지 실패

• 상담원이 정보를 갖고 있지 않았습니다. 검색 시 누락되었거나 코퍼스에 포함된 적이 없습니다. 더 큰 모델은 동일한 부재를 기반으로 보다 유창한 답변을 생성합니다.
• 대리인은 정보 외에 너무 많은 정보를 갖고 있었습니다. 관련 구절이 존재했고, 컨텍스트 창이 길어질수록 좋아지기는커녕 오히려 나빠지는 소음 속에 묻혀 있었습니다.
• 상담원은 어떤 것이 좋은지 알려주지 않았습니다. 기준이 없으면 출력 품질은 모델의 기본 설정이며 크기에 관계없이 실행마다 다릅니다.
• 에이전트가 시도하면 안 되는 행동을 했습니다. 능력의상을 입은 것은 정책실패이다.

이 중 하나만이 기능 문제입니다. 나머지 세 개는 업그레이드 후에도 그대로 유지됩니다.

오후에 차이점을 구별하는 방법

실패한 사례를 선택하여 순서대로 확인합니다. 검색된 원본이 올바른지; 관련 없는 자료가 얼마나 많이 포함되어 있었는지; 이 출력이 실패했을 것이라는 서면 기준이 존재합니까? 에이전트가 수행해야 하는 경계 내에서의 작업이었습니다.

첫 번째에 대한 대답이 '아니요'이면 검색을 수정하세요. 두 번째가 크면 청킹 도구나 트림 도구를 수정하세요. 기준이 없으면 작성하세요. 경계가 잘못된 경우 이는 모델 변경이 아니라 거버넌스 변경입니다.

4가지를 모두 확인했을 때만 모델이 남은 변수이고, 그 시점에서 업그레이드는 명확한 가설을 가진 합리적인 실험입니다.

반사신경이 강한 이유

모델 업그레이드는 한 사람이 하루 아침에 내릴 수 있는 결정이고 대안은 프로젝트이기 때문입니다. 검색을 수정한다는 것은 말뭉치를 이해하는 것을 의미합니다. 기준을 작성하는 것은 좋은 것이 무엇을 의미하는지에 동의하는 것을 의미하며, 이는 기술적 대화로 위장한 조직적 대화입니다.

업그레이드는 작동할 가능성이 높으므로 선택되지 않습니다. 이용할 수 있기 때문에 선택됩니다.

비용 형태

더 큰 모델은 이미 작동 중인 통화를 포함하여 상담원이 거는 모든 통화의 가격을 영구적으로 변경합니다. 10%의 오류를 해결했다면 트래픽의 10%를 개선하기 위해 100%의 트래픽 비용을 지불한 것입니다.

이것이 바로 평가 중심 최적화의 목적입니다. 옵티마이저가 변경을 제안하면 이는 사용자 자신의 평가와 비교하여 측정되므로 "이것이 더 기분이 좋습니까?"라는 질문은 더 이상 "점수가 이동했습니까? 비용은 얼마입니까?"가 됩니다.

진정으로 능력이 답인 경우

중간 오류가 복합적으로 발생하는 긴 다단계 추론, 작은 모델이 가끔씩이 아닌 일관되게 잘못 처리하는 특이한 구조의 작업, 정답을 얻으려면 여러 제약 조건을 동시에 유지해야 하는 작업 등이 존재하며 인식 가능한 모양을 가지고 있습니다.

실패가 여기에 집중되어 있고 검색, 기준 및 경계가 타당하다면 안심하고 업그레이드하세요.

다음

버전 페이지에서는 각 Oran 버전과 추가된 내용을 다룹니다. 에이전트 오케스트레이션 시스템 페이지는 모델 결정을 측정 가능한 결정으로 바꾸는 평가 및 비용 계층을 다룹니다.