작은 모델은 잘 설계된 시스템에서 대부분의 작업을 수행합니다.

단일 에이전트 실행 내부를 살펴보고 실제로 무슨 일이 일어나는지 계산해 보세요. 요청이 어떤 카테고리에 속하는지 결정합니다. 문서에서 세 개의 필드를 추출합니다. 검색된 구절이 관련성이 있는지 판단합니다. 결과 형식을 지정합니다. 다음에 호출할 도구를 선택합니다.

그런 다음 일반적으로 그 중 하나인 추론 단계입니다.

대부분의 시스템은 전체에서 동일한 대규모 모델을 실행합니다. 왜냐하면 시스템이 작동하는 단계에서 시스템이 구축된 방식이 목표였기 때문입니다.

균일한 능력의 경제학

분류 단계에서 큰 모델은 작은 모델보다 몇 배의 비용이 들고, 동일한 답을 생성하며, 매 실행마다 영원히 그렇게 합니다.

개인차는 미미하고, 이것이 바로 지속되는 이유입니다. 아무도 효과적인 단계를 검토하지 않습니다. 1년간의 트래픽 집계는 결코 사소한 것이 아닙니다.

작은 모델만으로 충분할 경우

알려진 범주 집합으로 분류. 반구조화된 텍스트에서 구조화된 필드를 추출합니다. 후보자 목록에 대한 관련성 판단. 다시 포맷하는 중입니다. 소스에 이미 초점을 맞춘 간단한 요약입니다.

이것들은 속성을 공유합니다: 출력 공간이 제한됩니다. 정답이 다섯 가지 범주 중 하나이거나 문서의 필드인 경우 임계값을 초과하는 기능은 갈 곳이 없기 때문에 아무것도 추가하지 않습니다.

그렇지 않은 곳

중간 오류가 복합적으로 발생하는 다단계 추론. 여러 제약 조건이 동시에 필요한 작업입니다. 작은 모델이 가끔씩이 아닌 지속적으로 잘못 처리하는 특이한 구조로 작업합니다. 품질이 진정으로 개방형인 세대.

그 구별은 인간의 의미에서 작업 난이도가 아닙니다. 출력 공간이 제한되어 있는지 여부입니다.

추측보다는 알아내는 방법

실행당이 아닌 단계당 기기입니다. 대부분의 시스템은 전체 에이전트에 대한 비용과 대기 시간을 보고하는데, 이는 12개의 사소한 단계를 포함하여 비용이 많이 드는 추론 단계를 평균화하고 두 가지를 모두 숨깁니다.

단계가 표시되면 실험은 직접적입니다. 한 단계를 더 작은 모델로 바꾸고 평가 세트를 다시 실행합니다. 점수가 유지되면 절감 효과는 실질적이고 영구적입니다. 떨어지면 일반적인 모델 크기보다는 해당 단계에 대해 구체적인 내용을 배운 것입니다.

이것이 바로 Optimizer가 수행하는 작업입니다. 모델 및 프롬프트 최적화, 도구 트리밍 및 하이브리드 변환은 각각 실행되기 전에 자체 평가와 비교하여 측정됩니다.

하이브리드 패턴

결과적으로 발생하는 형태는 대부분의 단계를 처리하는 작은 모델, 필요한 두 개 또는 세 개의 단계에 대한 더 큰 모델, 그 자체로 저렴한 라우팅 결정입니다.

팀은 디자인보다는 측정을 통해 이에 도달하는데, 이는 올바른 순서입니다. 어떤 단계에 기능이 필요한지 알기 전에 하이브리드 시스템을 설계하면 추측에 최적화된 복잡한 시스템이 생성됩니다.

함정

평가 없는 비용 절감은 절약이 아니라 지연입니다. 미묘하게 더 나쁜 저렴한 단계는 더 낮은 단계에서 실패를 초래합니다. 여기서는 절감한 비용보다 진단 비용이 더 많이 듭니다.

이것이 바로 제안된 모든 최적화가 최적화를 시작하기 전에 작성한 기준에 따라 점수가 매겨져야 하는 이유입니다.

다음

옵티마이저 및 토큰 모니터링 페이지에서는 단계별 계측 및 평가 측정 최적화를 다룹니다. 버전 페이지에서는 각 Oran 버전과 추가된 내용을 다룹니다.