모델 선택은 벤치마크 결정이 아니라 운영 결정입니다.

익숙한 순서가 있습니다. 팀은 모델을 비교하고, 게시된 점수에서 하나를 선택하고, 이를 기반으로 구축하고, 비교가 표면화되지 않은 방식으로 에이전트가 예측할 수 없이 행동한다는 것을 발견합니다. 그래서 그들은 다른 모델을 시도합니다. 행동이 변합니다. 예측 불가능성은 그렇지 않습니다.

진단은 일반적으로 동일합니다. 모델이 중요한 변수가 아니었습니다.

벤치마크가 알려줄 수 있는 것과 알 수 없는 것

게시된 점수는 다른 사람이 선택한 조건에서 고정된 문제 세트에 대해 모델이 어떻게 수행되었는지 알려줍니다. 이는 일반적으로 기능에 관한 정말 유용한 정보이며 특정 작업에 대한 예측으로는 거의 쓸모가 없습니다.

당신의 작업에는 그들이 갖고 있지 않은 맥락이 있습니다. 귀하의 문서, 귀하의 관례, 수용 가능한 답변에 대한 귀하의 생각, 확신에 찬 잘못된 답변과 위험에 처한 올바른 답변에 대한 귀하의 관용. 추상적인 측면에서 약간 더 높은 점수를 받은 모델은 실패가 특정 형태를 갖는 워크플로에 대해 더 나쁜 선택이 될 수 있습니다.

이는 벤치마크에 대한 논쟁이 아닙니다. 자신의 작업에 대한 평가를 대신하여 그들을 취급하는 것에 대한 주장입니다.

선택하기 전에 평가를 구축하세요

실용적인 조언은 별로 매력적이지 않습니다. 실제로 자동화하려는 작업에서 30~50개의 실제 사례를 모아 정확하다고 생각되는 출력을 얻으세요. 그 세트는 세 가지 이유로 어떤 비교표보다 더 가치가 있습니다.

그것은 당신이 관심을 갖는 것을 측정합니다. 다른 것을 변경해도 계속 측정됩니다. 그리고 모델 선택을 되돌릴 수 있게 해줍니다. 모델 교체는 희망을 품은 마이그레이션이 아니라 결과를 보여주는 실험이 되기 때문입니다.

이 세트를 초기에 구축한 팀은 모델 결정을 신속하게 내리고 재검토를 중단하는 경향이 있습니다. 결정을 건너뛰는 팀은 결정을 확정할 수 없기 때문에 무기한으로 다시 결정을 내립니다.

동일한 모델이 두 팀에서 다르게 동작하는 이유

모델 주변의 거의 모든 것이 변수입니다. 검색 전략에 따라 모델이 보는 내용이 결정됩니다. 도구 세트는 시도할 수 있는 작업과 시작하기 전에 전달하는 컨텍스트의 양을 결정합니다. 프롬프트에는 몇 달에 걸쳐 엣지 케이스 처리가 누적됩니다. 실패 정책은 불안정한 답변을 반환할지 아니면 보류할지를 결정합니다.

이러한 변경 사항과 동작 변경 사항을 측정 가능하게 변경합니다. 일반적으로 모델 교체보다 더 많이 변경합니다. 이것이 우리가 모델 선택을 운영 체제의 기초가 아닌 운영 체제 내부의 하나의 설정으로 취급하는 이유입니다.

비용이 들어가는 곳

모델 가격 책정은 가장 눈에 띄는 비용이며 최대 규모인 경우는 거의 없습니다. 재시도, 과도한 컨텍스트 및 사용되지 않는 도구 정의는 일상적으로 더 많은 것을 차지하며, 모델을 전환해도 이들 중 어느 것도 변경되지 않습니다.

이것이 바로 옵티마이저가 평가와 비교하여 모델 선택, 프롬프트 모양 및 도구 세트를 함께 측정하는 이유입니다. 더 저렴한 모델로 전환하는 것은 품질이 자신의 기준에 부합하는 경우에만 절약됩니다. 때로는 그렇습니다. 그리고 절약은 현실입니다. 때로는 그렇지 않으며 눈에 보이는 비용을 보이지 않는 비용과 교환했습니다.

우리의 실제 추천

유능한 모델을 선택하고 평가 세트를 구축하고 에이전트당 비용을 계측한 다음 검색, 도구, 정책 및 검토에 주의를 기울이십시오. 새 점수가 게시될 때가 아니라 평가에서 지시할 때 모델을 다시 방문하세요.

이는 비교표보다 덜 흥미로운 답변입니다. 우리가 관찰한 배포에서 안정적인 시스템을 생산한 것은 바로 이것이었습니다.

다음

버전 페이지에서는 Yaju 에이전트 오케스트레이션 시스템의 모든 세대와 각 세대에 추가된 내용을 다룹니다. 에이전트 오케스트레이션 시스템 페이지는 모델 선택을 되돌릴 수 있는 결정으로 만드는 평가 및 최적화 계층을 다룹니다.