Los modelos de idiomas grandes (LLM) se han convertido rápidamente en herramientas indispensables de inteligencia industrial (IA), impulsando aplicaciones de chatbots y creación de contenido hasta colaboración de codificación. A pesar de sus impresionantes capacidades, un desafío global que enfrentan los usuarios es que estos modelos a veces omiten partes de las instrucciones que reciben, especialmente cuando esas instrucciones son largas o involucran múltiples pasos. Este omisión conduce a horizontes incompletas o inexactas, lo que puede causar confusión y desgastar confianza en los sistemas de IA. Comprender por qué LLMS omite las instrucciones y cómo encarar este problema es esencial para los usuarios que confían en estos modelos para obtener resultados precisos y confiables.
¿Por qué LLMS omite las instrucciones?
LLMS funcionan leyendo el texto de entrada como una secuencia de tokens. Los tokens son las piezas pequeñas en las que se divide el texto. El maniquí procesa estos tokens uno tras otro, de principio a fin. Esto significa que las instrucciones al aparición de la entrada tienden a percibir más atención. Las instrucciones posteriores pueden percibir menos enfoque y pueden ignorarse.
Esto sucede porque los LLM tienen una capacidad de atención limitada. La atención es el mecanismo que los modelos utilizan para lanzarse qué partes de entrada son esenciales al producir respuestas. Cuando la entrada es corta, la atención funciona correctamente. Pero la atención se vuelve pequeño a medida que la entrada se hace más larga o las instrucciones se vuelven complejas. Esto debilita el enfoque en partes posteriores, causando olvidar.
Adicionalmente, muchas instrucciones aumentan a la vez complejidad. Cuando las instrucciones se superponen o el conflicto, los modelos pueden confundirse. Pueden intentar contestar a todo pero producir respuestas vagas o contradictorias. Esto a menudo resulta en insultar algunas instrucciones.
Los LLM asimismo comparten algunos límites similares a los humanos. Por ejemplo, los humanos pueden perder el enfoque al observar textos largos o repetitivos. Del mismo modo, LLMS puede olvidar Instrucciones posteriores a medida que procesan más tokens. Esta pérdida de enfoque es parte del diseño y los límites del maniquí.
Otra razón es cómo los LLM están entrenados. Ven muchos ejemplos de instrucciones simples pero menos complejas y de varios pasos. Conveniente a esto, los modelos tienden a preferir seguir instrucciones más simples que son más comunes en sus datos de entrenamiento. Este sesgo los hace olvidar instrucciones complejas. Adicionalmente, los límites de token restringen la cantidad de entrada que puede procesar el maniquí. Cuando las entradas exceden estos límites, se ignoran las instrucciones más allá del remate.
Ejemplo: Supongamos que da una LLM cinco instrucciones en un solo mensaje. El maniquí puede centrarse principalmente en las dos primeras instrucciones e ignorar parcial o completamente las últimas tres. Esto afecta directamente cómo el maniquí procesa tokens secuencialmente y sus limitaciones de atención.
Qué tan correctamente LLMS administra instrucciones secuenciales basadas en los hallazgos de SIFO 2024
Estudios recientes han analizado cuidadosamente qué tan correctamente LLMS siguen varias instrucciones dadas una tras otra. Un estudio importante son las instrucciones secuenciales que siguen (SIFO) Benchmark 2024. Este punto de narración prueba modelos en tareas que necesitan finalización paso a paso de instrucciones, como modificación de texto, respuesta a preguntas, matemáticas y seguimiento de reglas de seguridad. Cada instrucción en la secuencia depende de la finalización correcta de la susodicho. Este enfoque ayuda a compulsar si el maniquí ha seguido la secuencia completa correctamente.
Los resultados de SIFO muestran que incluso los mejores LLM, como GPT-4 y Claude-3, a menudo les resulta difícil terminar todas las instrucciones correctamente. Esto es especialmente cierto cuando las instrucciones son largas o complicadas. La investigación señala tres problemas principales que enfrentan LLMS con las siguientes instrucciones:
Comprensión: Compriendo completamente lo que significa cada instrucción.
Razonamiento: Vinculando varias instrucciones juntas lógicamente para apoyar la respuesta clara.
Salida confiable: Producir respuestas completas y precisas, cubriendo todas las instrucciones dadas.
Las técnicas como la ingeniería rápida y el ajuste fino ayudan a mejorar qué tan correctamente los modelos siguen las instrucciones. Sin incautación, estos métodos no ayudan por completo con el problema de olvidar instrucciones. El uso del estudios de refuerzo con feedback humana (RLHF) prosperidad aún más la capacidad del maniquí para contestar adecuadamente. Aún así, los modelos tienen dificultades cuando las instrucciones requieren muchos pasos o son muy complejos.
El estudio asimismo muestra que los LLM funcionan mejor cuando las instrucciones son simples, claramente separadas y correctamente organizadas. Cuando las tareas necesitan largas cadenas de razonamiento o muchos pasos, la precisión del maniquí cae. Estos hallazgos ayudan a sugerir mejores formas de usar correctamente las LLM y mostrar la escazes de construir modelos más fuertes que efectivamente puedan seguir instrucciones una tras otra.
Por qué LLMS omite las instrucciones: desafíos técnicos y consideraciones prácticas
Los LLM pueden olvidar las instrucciones adecuado a varios factores técnicos y prácticos enraizados en la forma en que procesan y codifican el texto de entrada.
Dilución limitada de la capacidad de atención y la información
Los LLM dependen de los mecanismos de atención para asignar importancia a diferentes partes de entrada. Cuando las indicaciones son concisas, la atención del maniquí está enfocada y efectiva. Sin incautación, a medida que el aviso crece más o más repetitivo, la atención se diluye, y las tokens o instrucciones posteriores reciben menos enfoque, lo que aumenta la probabilidad de que se pasen por stop. Este aberración, conocido como dilución de información, es especialmente problemático para las instrucciones que aparecen tarde en un aviso. Adicionalmente, los modelos tienen límites de token fijos (por ejemplo, tokens 2048); Cualquier texto más allá de este acceso se trunca e ignora, lo que hace que las instrucciones al final se salten por completo.
Complejidad y doble sentido de salida
Los LLM pueden tener dificultades para obtener respuestas claras y completas cuando se enfrentan a múltiples o conflictivas instrucciones. El maniquí puede producir respuestas parciales o vagas para evitar contradicciones o confusión, omitiendo efectivamente algunas instrucciones. La doble sentido en cómo se redactan las instrucciones asimismo plantea desafíos: las indicaciones poco claras o imprecisas dificultan que el maniquí determine las acciones previstas, aumentando el aventura de olvidar o malinterpretar partes de la entrada.
Diseño rápido y sensibilidad de formato
La estructura y el fraseo de las indicaciones asimismo juegan un papel fundamental en el seguimiento de las instrucciones. La investigación muestra que incluso pequeños cambios en la forma en que se escriben o formatean las instrucciones puede afectar significativamente si el maniquí se adhiere a ellos.
Las indicaciones mal estructuradas, que carecen de separación clara, puntos de bala o numeración, hacen que sea más difícil que el maniquí distinga entre pasos, aumentando las posibilidades de fusionar u olvidar instrucciones. La representación interna del maniquí del maniquí es en gran medida sensible a estas variaciones, lo que explica por qué la ingeniería rápida (indicaciones de reformulación o reestructuración) puede mejorar sustancialmente la adición de las instrucciones, incluso si el contenido subyacente sigue siendo el mismo.
Cómo arreglar la instrucción omitiendo en LLMS
Mejorar la capacidad de los LLM para seguir las instrucciones con precisión es esencial para producir resultados confiables y precisos. Se deben considerar las siguientes mejores prácticas para minimizar la omisión de instrucciones y mejorar la calidad de las respuestas generadas por IA:
Las tareas deben descomponerse en partes más pequeñas
Las indicaciones largas o de múltiples pasos deben dividirse en segmentos más pequeños y más enfocados. Proporcionar una o dos instrucciones a la vez permite que el maniquí mantenga una mejor atención y reduce la probabilidad de perder los pasos.
Ejemplo
En emplazamiento de combinar todas las instrucciones en un solo mensaje, como «Resumir el texto, enumerar los puntos principales, sugerir mejoras y traducirlo al francés«Cada instrucción debe presentarse por separado o en grupos más pequeños.
Las instrucciones deben formatearse utilizando listas numeradas o puntos de bala
La estructura de instrucciones con formato visible, como listas numeradas o puntos de bala, ayuda a indicar que cada hábitat es una tarea individual. Esta claridad aumenta las posibilidades de que la respuesta aborde todas las instrucciones.
Ejemplo
- Resume el ulterior texto.
- Enumere los puntos principales.
- Sugerir mejoras.
Dicho formato proporciona señales visuales que ayudan al maniquí a inspeccionar y separar tareas distintas adentro de un aviso.
Las instrucciones deben ser explícitas e inequívocas
Es esencial que las instrucciones indiquen claramente el requisito de completar cada paso. Se debe evitar el verbo ambiguo o indeterminado. El aviso debe indicar explícitamente que no se pueden olvidar pasos.
Ejemplo
«Complete las tres tareas a continuación. Saltar cualquier paso no es aceptable».
Las declaraciones directas como esta reducen la confusión y alientan al maniquí a proporcionar respuestas completas.
Se deben usar indicaciones separadas para tareas críticas o de stop aventura
Cada instrucción debe presentarse como un mensaje individual para las tareas donde la precisión y la integridad son críticas. Aunque este enfoque puede aumentar el tiempo de interacción, prosperidad significativamente la probabilidad de obtener resultados completos y precisos. Este método asegura que el maniquí se centre completamente en una tarea a la vez, reduciendo el aventura de instrucciones perdidas.
Estrategias avanzadas para equilibrar la integridad y la eficiencia
Esperar una respuesta a posteriori de cada instrucción puede sobrellevar mucho tiempo para los usuarios. Para mejorar la eficiencia mientras se mantiene la claridad y la reducción de las instrucciones omitidas, las siguientes técnicas avanzadas de solicitación pueden ser efectivas:
Instrucciones por lotes con etiquetas de formato claras y explícitas
Múltiples instrucciones relacionadas se pueden combinar en un solo mensaje, pero cada una debe separarse utilizando numeración o encabezados. El mensaje asimismo debe instruir al maniquí que responda a todas las instrucciones por completo y en orden.
Ejemplo de aviso
Complete con atención todas las siguientes tareas sin olvidar ninguna:
- Resume el texto a continuación.
- Enumere los puntos principales de su esquema.
- Sugerir mejoras basadas en los puntos principales.
- Traducir el texto mejorado al francés.
Indicaciones de estilo de la condena de pensamiento
La solicitud de la condena de pensamiento tutor al maniquí a razonar a través de cada paso de tarea antiguamente de proporcionar una respuesta. Alentar al maniquí a procesar las instrucciones secuencialmente adentro de una respuesta única ayuda a avalar que no se pasen por stop los pasos, reduciendo la posibilidad de olvidar las instrucciones y mejorar la integridad.
Ejemplo de aviso
Lea el texto a continuación y haga las siguientes tareas en orden. Muestre su trabajo claramente:
- Resumir el texto.
- Identifique los puntos principales de su esquema.
- Sugerir mejoras en el texto.
- Traducir el texto mejorado al francés.
Responda todas las tareas completamente y por separado en una respuesta.
Adicionar instrucciones de finalización y recordatorios
Recuerde explícitamente al maniquí:
- «Responda cada tarea por completo».
- «No omitas ninguna instrucción».
- «Separe sus respuestas claramente».
Tales recordatorios ayudan al maniquí a centrarse en la integridad cuando se combinan múltiples instrucciones.
Se deben probar diferentes modelos y configuraciones de parámetros
No todos los LLM funcionan por igual en las siguientes instrucciones. Es aconsejable evaluar varios modelos para identificar aquellos que sobresalen en tareas de varios pasos. Adicionalmente, los parámetros de ajuste como la temperatura, los tokens máximos y las indicaciones del sistema pueden mejorar aún más el enfoque y la integridad de las respuestas. Probar estas configuraciones ayuda a adaptar el comportamiento del maniquí a los requisitos específicos de la tarea.
Se deben considerar modelos de ajuste fino y utilizar herramientas externas
Los modelos deben ajustarse en conjuntos de datos que incluyan instrucciones de múltiples pasos o secuenciales para mejorar su adición a las indicaciones complejas. Las técnicas como RLHF pueden mejorar aún más la instrucción a posteriori.
Para casos de uso avanzados, la integración de herramientas externas como API, complementos específicos de tareas o sistemas de engendramiento aumentada de recuperación (RAG) pueden proporcionar contexto y control adicionales, mejorando así la confiabilidad y precisión de los resultados.
El resultado final
Los LLM son herramientas potentes, pero pueden olvidar las instrucciones cuando las indicaciones son largas o complejas. Esto sucede adecuado a cómo leen la entrada y enfocan su atención. Las instrucciones deben ser claras, simples y correctamente organizadas para obtener resultados mejores y más confiables. Romper las tareas en piezas más pequeñas, usar listas y dar instrucciones directas de ayuda a los modelos de ayuda a seguir los pasos.
Las indicaciones separadas pueden mejorar la precisión de las tareas críticas, aunque toman más tiempo. Adicionalmente, métodos avanzados avanzados como la condena de pensamiento y el formato claro ayudan a equilibrar la velocidad y la precisión. Adicionalmente, probar diferentes modelos y ajuste fino asimismo puede mejorar los resultados. Estas ideas ayudarán a los usuarios a obtener respuestas consistentes, completas y harán que las herramientas de IA sean más enseres en el trabajo vivo.
