Ejecutando reranking dentro de tu propia nube

Los equipos que operan en entornos donde los datos no pueden salir enfrentan un dilema recurrente con la calidad de la recuperación. Las técnicas que más ayudan son las que agregan componentes, y cada componente adicional es algo que se debe implementar, monitorear y actualizar dentro de los límites.

La reclasificación es el caso más claro. Suele ser la mayor mejora de precisión disponible y es un servicio adicional.

lo que estas agregando

Una etapa de reclasificación se sitúa entre la recuperación de la primera etapa y el modelo. Toma una lista corta de candidatos y los reordena juzgando cada uno directamente con la consulta, en lugar de comparar vectores precalculados.

Operacionalmente, este es un servicio con su propio perfil de recursos: más pesado por elemento que la búsqueda vectorial, aplicado a un conjunto pequeño en lugar de a un índice completo. Necesita capacidad, monitoreo y una ruta de actualización como cualquier otra cosa que ejecute.

lo que obtienes a cambio

Dos cosas a la vez, lo cual es inusual.

Mejor fundamento, porque el pasaje que responde a la pregunta llega al principio y no al quinto.

Menor coste de contexto en cada llamada, porque puedes pasar tres buenos pasajes en lugar de diez mediocres. En una implementación autohospedada en la que usted paga por su propio proceso, esa reducción se aplica a cada ejecución, de forma permanente.

El segundo beneficio es el que suele decidir la decisión en entornos restringidos, porque compensa el coste del componente que acabas de añadir.

Cómo decidir antes de implementarlo

Mida la posición de recuperación antes de construir algo. Responda preguntas reales con sus pasajes correctos y registre si se recupera el pasaje correcto y dónde se ubica.

Si normalmente se recupera pero tiene una clasificación baja, cambiar la clasificación será de gran ayuda y podrá estimar cuánto antes de comprometerse.

Si normalmente no se recupera en absoluto, cambiar la clasificación no puede ayudar. El problema está en la fase inicial de fragmentación o incrustación, y agregar un componente costará capacidad y no cambiará nada.

Esta medición dura una tarde y evita el desperdicio más común de moneda en los trabajos de recuperación.

Planificación de capacidad

La carga de reclasificación es proporcional al volumen de consultas en lugar del tamaño del corpus, lo que hace que sea más fácil de pronosticar que el índice en sí. La variable que importa es cuántos candidatos reclasifica por consulta.

Reclasificar a cincuenta candidatos en lugar de veinte cuesta más y ayuda menos de lo que la mayoría de los equipos esperan. Mídelo en lugar de asumir que más es mejor.

En ambientes con espacios abiertos de aire

Se aplican las mismas consideraciones con una adición: las actualizaciones de modelo para el reranker llegan como artefactos en su agenda, como todo lo demás. Primero, cree su conjunto de evaluación para que aceptar o rechazar una actualización sea una decisión mesurada en lugar de un salto.

Dónde encaja en la evaluación

Agregar una etapa cambia la latencia, así como la precisión y el costo, y los tres pertenecen a la misma puntuación. Las evaluaciones en Orán cubren criterios de comportamiento, estructurales, de latencia y de costos juntos exactamente por esta razón: una ganancia de precisión que supera un presupuesto de latencia interactiva es un intercambio, no una mejora, y debería ser visible en el momento en que se realiza.

Siguiente

Las páginas de reclasificación e implementación cubren mecánicas y opciones autohospedadas. La documentación del desarrollador cubre la construcción del conjunto de evaluación que hace que esta decisión sea mensurable.