¿A qué te compromete realmente una incrustación?

La elección de la incrustación se hace tempranamente, generalmente rápidamente, y luego se vuelve resistente. Seis meses después, el índice ha crecido, varios sistemas lo consultan y el coste de cambiar de opinión ya no es un cambio de configuración.

Este no es un argumento para angustiarse por la elección inicial. Es un argumento para establecerlo de modo que la elección pueda revisarse de forma económica.

¿Qué está realmente encerrado?

Los propios vectores. Solo son comparables a los vectores producidos por el mismo modelo, por lo que un cambio significa volver a incrustar todo el corpus en lugar de migrarlo.

La dimensionalidad, que determina el costo de almacenamiento y consulta en el tamaño de su corpus, y sobre la cual es difícil razonar antes de que el corpus sea grande.

Comportamiento en su vocabulario específico. Los nombres de productos internos, las abreviaturas y los términos de dominio se manejan de manera diferente según los diferentes modelos, y esto se muestra en la calidad de recuperación mucho antes de que alguien los conecte a la capa de incrustación.

Mantenga el texto sin formato, siempre

El hábito más útil no es glamoroso: almacenar el texto original junto al vector, con su procedencia.

Los equipos que descartan la fuente y conservan solo los vectores han convertido la reincrustación en un ejercicio de recuperación de datos. Los equipos que conservaron el texto pueden volver a insertar todo el corpus como un trabajo por lotes siempre que quieran evaluar una alternativa, lo que significa que la decisión permanece abierta.

Esto cuesta almacenamiento, que es barato, y compra opcionalidad, que no lo es.

Evalúe su vocabulario, no un punto de referencia

Los puntos de referencia generales le indican cómo se comporta un modelo en el lenguaje general. Tu corpus no es general. Contiene los nombres de sus servicios, las abreviaturas que usan sus equipos en los tickets y la redacción en la que están escritas sus políticas.

Cree un conjunto de consultas reales sobre sus propios documentos, con los pasajes que deberían responderlas, y mida la recuperación directamente. Ese conjunto es reutilizable para siempre: evalúa el modelo de incrustación, la estrategia de fragmentación, el reranker y cualquier otra cosa que cambies más adelante.

También es lo único que hace que "deberíamos probar un modelo de integración diferente" sea una pregunta con respuesta en lugar de una opinión de sus defensores.

Híbrido suele ser la respuesta pragmática

La búsqueda semántica encuentra cosas que significan lo mismo en diferentes palabras. La búsqueda de palabras clave encuentra el código de error exacto que alguien pegó.

La mayoría de los conjuntos de consultas reales contienen ambos tipos, y los sistemas que combinan los dos superan a cualquiera de ellos por separado en la realidad mixta de lo que la gente realmente pregunta. Esta no es una técnica sofisticada y, sorprendentemente, a menudo se omite porque la búsqueda semántica demuestra mejores resultados.

La visión operativa

La integración es parte de una cadena que termina en una respuesta sobre la que alguien actúa, y tiene tanto una dimensión de calidad como una dimensión de costo. Volver a incorporar un corpus grande es un gasto real; llevar vectores de gran tamaño en cada consulta es un gasto menor que se repite indefinidamente.

Ambos pertenecen al mismo ciclo de evaluación que el resto del comportamiento del agente, razón por la cual las evaluaciones califican la latencia y el costo junto con la corrección en lugar de tratarlos como preocupaciones separadas.

Siguiente

La documentación para desarrolladores cubre los mecanismos de incrustación y recuperación. Las páginas del Sistema de orquestación de agentes cubren la capa de evaluación que mantiene decisiones como esta reversibles.