Los investigadores de ciberseguridad han descubierto una rotura indirecta de inyección inmediata en el dúo asistente de inteligencia sintético (IA) de Gitlab que podría poseer permitido a los atacantes robar el código fuente e inyectar HTML no confiable en sus respuestas, lo que podría estar de moda para dirigir a las víctimas a sitios web maliciosos.
GitLab Duo es un asistente de codificación de inteligencia sintético (AI) que permite a los usuarios escribir, revisar y editar código. Construido con los modelos Claude de Anthrope, el servicio se lanzó por primera vez en junio de 2023.
Pero como encontró la seguridad legítima, Gitlab Duo Chat ha sido susceptible a una rotura de inyección indirecta que permite a los atacantes «robar código fuente de proyectos privados, manipular las sugerencias de código que se muestran a otros usuarios e incluso exfiltran confidenciales confidenciales, no reveladas vulnerabilidades de día cero».
La inyección inmediata se refiere a una clase de vulnerabilidades comunes en los sistemas de IA que permiten a los actores de amenaza armarse modelos de idiomas grandes (LLM) para manipular las respuestas a las indicaciones de los usuarios y dar como resultado un comportamiento indeseable.
Las inyecciones indirectas de inmediato son mucho más complicadas porque en motivo de proporcionar una entrada diseñada directamente, las instrucciones deshonestas están integradas en otro contexto, como un documento o una página web, que el maniquí está diseñado para procesar.
Estudios recientes han demostrado que los LLM incluso son vulnerables a las técnicas de ataque de jailbreak que permiten engañar a los chatbots impulsados por la IA en la concepción de información dañina e ilegal que ignora sus barandillas éticas y de seguridad, evitando efectivamente la menester de indicaciones cuidadosamente elaboradas.
Adicionalmente, los métodos de fuga inmediata (plereak) podrían estar de moda para revelar inadvertidamente las indicaciones o instrucciones del sistema preestablecido que el maniquí debe seguir.
«Para las organizaciones, esto significa que la información privada, como las reglas internas, las funcionalidades, los criterios de filtrado, los permisos y los roles de sucesor se pueden filtrar», dijo Trend Micro en un referencia publicado a principios de este mes. «Esto podría ofrecer a los atacantes oportunidades para explotar las debilidades del sistema, lo que potencialmente conduce a violaciones de datos, divulgación de secretos comerciales, violaciones regulatorias y otros resultados desfavorables».
 |
| Demostración de ataque de plegamiento: exceso de credencial / exposición de la funcionalidad sensible |
Los últimos hallazgos de la firma de seguridad de la esclavitud de suministro de software israelí muestran que un comentario oculto colocado en cualquier motivo internamente de las solicitudes de fusión, mensajes de confirmación, descripciones de problemas o comentarios y el código fuente fue suficiente para filtrar datos confidenciales o inyectar HTML en las respuestas de GitLab Duo.
Estas indicaciones podrían ocultarse aún más utilizando trucos de codificación como Base16-codificación, contrabando unicode y Katex en texto blanco para que sean menos detectables. La desliz de desinfección de insumos y el hecho de que Gitlab no tratara nadie de estos escenarios con más indagación que el código fuente podría poseer permitido a un mal actor plantar las indicaciones en todo el sitio.
«Duo analiza todo el contexto de la página, incluidos comentarios, descripciones y el código fuente, lo que lo hace inerme a las instrucciones inyectadas ocultas en cualquier motivo de ese contexto», dijo el investigador de seguridad Omer Mayraz.
Esto incluso significa que un atacante podría engañar al sistema AI para incluir un paquete desconfiado de JavaScript en un código sintetizado, o presentar una URL maliciosa como segura, lo que hace que la víctima sea redirigida a una página de inicio de sesión falsa que vendimia sus credenciales.
Adicionalmente de eso, aprovechando la capacidad de Gitlab Duo Chat para obtener a la información sobre solicitudes de fusión específicas y el código cambia internamente de ellas, la seguridad legítima descubrió que es posible insertar un mensaje oculto en una descripción de solicitud de fusión para un tesina que, cuando es procesado por DUO, hace que el código fuente privado se extienda a un servidor de atacantes con atacantes.
Esto, a su vez, es posible oportuno al uso de la representación de la reducción de la transmisión para interpretar y hacer las respuestas en HTML a medida que se genera la salida. En otras palabras, alimentarlo con código HTML a través de la inyección indirecta de inmediato podría hacer que el segmento de código se ejecute en el navegador del sucesor.
Luego de la divulgación responsable el 12 de febrero de 2025, GitLab ha abordado los problemas.
«Esta vulnerabilidad destaca la naturaleza de doble filo de los asistentes de IA como Gitlab Duo: cuando se integran profundamente en los flujos de trabajo de explicación, heredan no solo el contexto, sino el aventura», dijo Mayraz.
«Al integrar las instrucciones ocultas en el contenido de proyectos aparentemente inofensivos, pudimos manipular el comportamiento del dúo, exfiltrar el código fuente privado y demostrar cómo las respuestas de AI pueden aprovecharse para obtener resultados no intencionados y dañinos».
La divulgación se produce cuando Pen Test Partners reveló cómo Microsoft Copilot para SharePoint, o agentes de SharePoint, podría ser explotado por los atacantes locales para obtener a datos y documentación confidenciales, incluso a partir de archivos que tienen el privilegio de «sagacidad restringida».
«Uno de los principales beneficios es que podemos agenciárselas y deslizar a través de conjuntos de datos masivos, como los sitios de SharePoint de grandes organizaciones, en poco tiempo», dijo la compañía. «Esto puede aumentar drásticamente las posibilidades de encontrar información que nos sea útil».
Las técnicas de ataque siguen a una nueva investigación de que Elizaos (anteriormente AI16Z), un ámbito de agente de IA descentralizado inaugural para las operaciones Web3 automatizadas, podría manipularse inyectando instrucciones maliciosas en indicaciones o registros de interacción histórica, corrompiendo efectivamente el contexto almacenado y conduciendo a transferencias de activos no intencionados.
«Las implicaciones de esta vulnerabilidad son particularmente graves cubo que los elizaosagentes están diseñados para interactuar con múltiples usuarios simultáneamente, dependiendo de los aportes contextuales compartidos de todos los participantes», escribió un agrupación de académicos de la Universidad de Princeton en un documento.
«Una sola manipulación exitosa de un actor desconfiado puede comprometer la integridad de todo el sistema, creando bienes en cascada que son difíciles de detectar y mitigar».
Separadamente de las inyecciones y jailbreaks, otro problema importante enfermo de LLM en la hogaño es la fascinación, que ocurre cuando los modelos generan respuestas que no se basan en los datos de entrada o simplemente se fabrican.
Según un nuevo estudio publicado por la compañía de pruebas de IA Giskard, instruir a los LLM para que sean concisos en sus respuestas puede afectar negativamente la facturidad y empeorar las alucinaciones.
«Este huella parece ocurrir porque las refutaciones efectivas generalmente requieren explicaciones más largas», dijo. «Cuando se ve obligado a ser conciso, los modelos enfrentan una referéndum difícil entre elaborar respuestas cortas pero inexactas o parecer inútil al rebotar la pregunta por completo».
