Reclasificar es la precisión más barata que probablemente no estés comprando

La recuperación de la primera etapa está diseñada para ser rápida. Escanea rápidamente un índice grande y devuelve candidatos que probablemente sean relevantes. Probablemente esté haciendo un trabajo real en esa oración.

La respuesta estándar es ampliar la red: devolver más pasajes y dejar que el modelo lo solucione. Esto funciona, en el sentido de que el pasaje correcto ahora suele estar en algún lugar del conjunto, y falla de dos maneras que nadie mide.

Lo que realmente cuesta la ampliación

Cada pasaje adicional ocupa contexto en cada llamada, por lo que el costo de la solución alternativa es permanente y aumenta con el tráfico.

Y el modelo tiene que localizar el material relevante entre el ruido. Los modelos son decentes en esto y no confiables, particularmente cuando un pasaje irrelevante que parece plausible se ubica encima del correcto. Ése es el fracaso que produce una respuesta segura basada en el párrafo equivocado.

¿Qué hace un paso de cambio de rango?

Un reclasificador analiza la consulta y cada candidato juntos, en lugar de comparar vectores precalculados. Es más lento por elemento, por lo que no puede escanear todo el índice, y mucho mejor a la hora de juzgar la relevancia, por lo que vale la pena repasar una lista corta.

El patrón es: recuperar veinte o cincuenta candidatos a bajo precio, reclasificarlos adecuadamente y conservar los tres o cinco primeros. El modelo recibe al mismo tiempo menos material y mejor material.

Esa combinación es inusual. La mayoría de las mejoras de calidad cuestan dinero. Este normalmente reduce el contexto de cada llamada y al mismo tiempo aumenta la proporción de respuestas basadas en la fuente correcta.

Cómo saber si vale la pena para ti

Mida la recuperación por separado de la generación. Responda preguntas reales con sus pasajes correctos y verifique si el pasaje correcto aparece en el conjunto que recibe el modelo y en qué posición.

Si normalmente se recupera el pasaje correcto pero se clasifica en quinto u octavo lugar, un nuevo clasificador será de gran ayuda. Si normalmente no se recupera en absoluto, el problema está en la fase anterior de fragmentación o incrustación, y la reclasificación no puede solucionar una ausencia.

Esta distinción ahorra mucho esfuerzo desperdiciado y lleva una tarde establecerla.

Cuando saltearlo

Pequeños corpus donde la recuperación en la primera etapa ya clasifica el pasaje correcto en primer lugar. Rutas de latencia crítica donde el paso adicional no se ajusta al presupuesto. Consultas que son esencialmente búsquedas, donde un filtro de metadatos hace el trabajo de manera más económica que cualquier clasificación.

Un reranker es un buen valor predeterminado, no universal.

Dónde se encuentra operativamente

Agregar una etapa cambia tanto la latencia como el costo, lo que significa que pertenece al mismo ciclo de evaluación que todo lo demás. Las evaluaciones en Orán califican juntos criterios de comportamiento, estructurales, de latencia y de costo exactamente por esta razón: un cambio que mejora la precisión y rompe un presupuesto de latencia no es automáticamente una mejora, y esa compensación debería ser visible en lugar de descubierta.

Siguiente

Las páginas de reclasificación cubren la mecánica y las opciones de implementación. La documentación del desarrollador cubre la creación del conjunto de evaluación que le indica si vale la pena hacer algo de esto para su corpus.