Inteligencia artificial: ¿cuál es todo el alboroto?

Descripción genérico: AI para perfectamente y mal

Casi a diario, ahora vemos el hito noble de la «prueba de turing» se desliza más y más en dirección a una irrelevancia casi ingenua, a medida que las interfaces de la computadora han evolucionado de ser comparables al idioma humano, a similar, a indistinguible, a posiblemente superior superior ⁽¹⁾.

El expansión de modelos de idiomas grandes (LLM) comenzó con los avances de procesamiento del idioma natural (PNL) a principios de la término de 2000, pero el gran avance llegó con el artículo 2017 de Ashish Vaswani, «La atención es todo lo que necesita». Esto permitió capacitar a modelos más grandes en grandes conjuntos de datos, mejorando en gran medida la comprensión y procreación del idioma.

Como cualquier tecnología, los LLM son neutrales y pueden ser utilizados por atacantes y defensores. La pregunta secreto es, ¿qué flanco se beneficiará más o más rápidamente?

Vamos a sumergirnos en esa pregunta con un poco más de detalle. Esto no es más que un extracto de nuestra cobertura en el Security Navigator 2025, pero cubre algunos de los puntos principales que deberían ser relevantes para todos los que trabajan en un contexto de seguridad o tecnología. Si desea descifrar más sobre las técnicas de ‘inyección rápida’ o cómo se usa productivamente la IA en tecnología de seguridad, ¡lo invito a obtener el noticia completo!

IA en operaciones de defensa

• Puede mejorar la productividad y la comunicación de la oficina genérico
• Puede mejorar la búsqueda, la investigación y la inteligencia de código rajado
• Puede permitir comunicaciones internacionales e interculturales eficientes
• Puede ayudar con la resumen y el recapitulación de diversos conjuntos de datos de texto no estructurados
• Puede ayudar con la documentación de la inteligencia de seguridad y la información del evento.
• Puede ayudar a analizar correos electrónicos y archivos potencialmente maliciosos
• Puede ayudar con la identificación de contenido de texto, imagen o video fraudulento, inexacto o engañoso.
• Puede ayudar con las funciones de pruebas de seguridad como el registro y el descubrimiento de vulnerabilidades.

La IA de una forma u otra se ha utilizado durante mucho tiempo en una variedad de tecnologías de seguridad.

A modo de ejemplo:

• Sistemas de detección de intrusos (IDS) y detección de amenazas. El proveedor de seguridad DarkTrace, emplea a ML para detectar y replicar autónomos de forma autónoma en tiempo auténtico aprovechando el investigación de comportamiento y los algoritmos de ML capacitados en datos históricos para marcar desviaciones sospechosas de la actividad frecuente.
• Detección y prevención de phishing. Los modelos ML se utilizan en productos como Proofpoint y Microsoft Defender que identifican y bloquean los ataques de phishing utilizando algoritmos ML para analizar el contenido de correo electrónico, los metadatos y el comportamiento del becario para identificar los intentos de phishing.
• Detección y respuesta del punto final (EDR). Las ofertas de EDR como CrowdStrike Falcon aprovechan ML para identificar un comportamiento inusual y detectar y mitigar las amenazas cibernéticas en los puntos finales.
• Copiloto de Microsoft para la seguridad. La posibilidad de IA de Microsoft está diseñada para ayudar a los profesionales de la seguridad al racionalizar la detección de amenazas, la respuesta a incidentes y la gobierno de riesgos al emplear la IA generativa, incluidos los modelos GPT de OpenAI.

IA en operaciones ofensivas

• Puede mejorar la productividad y la comunicación genérico de la oficina para los malos actores
• Puede mejorar la búsqueda, la investigación y la inteligencia de código rajado
• Puede permitir comunicaciones internacionales e interculturales eficientes
• Puede ayudar con la resumen y el recapitulación de conjuntos de datos de texto diversos y no estructurados (como los perfiles de redes sociales para los ataques de phishing/lanza-phishing)
• Puede ayudar con los procesos de ataque como el registro y el descubrimiento de vulnerabilidad.
• Puede ayudar con la creación de texto verosímil para métodos de ataques cibernéticos como phishing, acuarelas y malvertición.
• Puede ayudar con la creación de texto, imagen o texto fraudulento, inexacto o engañoso o
• contenido de video.
• Puede simplificar la fuga de datos accidentales o el golpe a los datos no autorizados
• Puede presentar una nueva superficie de ataque de ataque, pusilánime y atractiva.

Los ejemplos del mundo auténtico de IA en operaciones ofensivas han sido relativamente raros. Las instancias notables incluyen la procreación de exploit automatizada del MIT (AEG)⁽²⁾ Y el profundo de IBM⁽³⁾que demostró malware impulsado por IA. Estos siguen siendo prueba de conceptos por ahora. En 2019, nuestro equipo de investigación presentó dos ataques basados ​​en IA utilizando el modelado de temas^(4), Mostrar el potencial ofensivo de AI para el mapeo de redes y la clasificación de correo electrónico. Si perfectamente no hemos trillado un uso generalizado de tales capacidades, en octubre de 2024, nuestro CERT informó⁽⁵⁾ Que el Rhadamanthys malware como servicio (MAAS) incorporó una IA para realizar el registro de caracteres ópticos (OCR) en imágenes que contienen información confidencial, como contraseñas, que marcan la instancia más cercana del mundo auténtico de las capacidades ofensivas impulsadas por la IA.

Los LLM se utilizan cada vez más ofensivamente, especialmente en estafas. Un ejemplo destacado es el reunión de ingeniería del Reino Unido Arup⁽⁶⁾que, según los informes, perdió $ 25 millones a los estafadores que usaron una voz clonada digitalmente de un directivo senior para ordenar transferencias financieras durante una videoconferencia.

¿AI impulsa las amenazas?

Para considerar sistemáticamente el peligro potencial de las tecnologías de LLM, examinamos cuatro perspectivas: el peligro de no adoptar LLM, amenazas de IA existentes, nuevas amenazas específicas para LLM y riesgos más amplios a medida que los LLM se integran en los negocios y la sociedad. Estos aspectos se visualizan en el expresivo a continuación:

Rama 1: El peligro de no apadrinamiento

Muchos clientes con los que hablamos sienten presión para adoptar LLM, con CISO particularmente preocupados por el «peligro de no apadrinamiento», impulsado por tres factores principales:

• Pérdida de eficiencia: los líderes creen que los LLM como Copilot o ChatGPT aumentarán la eficiencia de los trabajadores y temerán que se quede detrás de los competidores que los adoptan.
• Pérdida de oportunidades: se considera que los LLM descubren nuevas oportunidades de negocios, productos o canales de mercado, y no aprovechan el peligro de perder una delantera competitiva.
• Pérdida de comercialización: con las discusiones dominantes de la IA, las empresas se preocupan de que no mostrar IA en sus ofertas los dejará irrelevantes en el mercado.

Estas preocupaciones son válidas, pero los supuestos a menudo no se han probado. Por ejemplo, una averiguación de julio de 2024 realizada por la agencia de investigación Upwork ⁽⁷⁾ Reveló que «el 96% de los líderes de C-suite esperan herramientas de IA para impulsar la productividad». Sin confiscación, el noticia señala: «Casi la fracción (47%) de los empleados que usan AI dicen que no tienen idea de cómo obtener las ganancias de productividad que esperan sus empleadores, y el 77% dice que estas herramientas han disminuido su productividad y apéndice a su carga de trabajo.

El valencia de marketing de estar «impulsado por IA» incluso está debatido. Un noticia flamante de la FTC señala que los consumidores han expresado su preocupación sobre el ciclo de vida completo de la IA, particularmente con respecto a las vías de apelación limitadas para las decisiones de productos basadas en la IA.

Las empresas deben considerar los costos reales de adoptar LLM, incluidos gastos directos como licencias, implementación, pruebas y capacitación. Asimismo hay un costo de oportunidad, ya que los fortuna asignados a la apadrinamiento de LLM podrían haberse invertido en otro espacio.

Los riesgos de seguridad y privacidad incluso deben considerarse, unido con externalidades económicas más amplias, como el consumo masivo de fortuna de la capacitación de LLM, que requiere un uso significativo de energía y agua. Según un artículo ⁽⁸⁾Los centros de datos de IA de Microsoft pueden consumir más poder que toda la India en los próximos seis abriles. Aparentemente, «serán enfriados por millones y millones de galones de agua».

Más allá de la tensión de los fortuna, existen preocupaciones éticas, ya que las obras creativas a menudo se usan para capacitar modelos sin el consentimiento de los creadores, afectando a artistas, escritores y académicos. Por otra parte, la concentración de IA entre unos pocos propietarios podría afectar las empresas, la sociedad y la geopolítica, ya que estos sistemas acumulan riqueza, datos y controles. Mientras que LLMS prometen una anciano productividad, las empresas corren el peligro de ofrecer la dirección, la visión y la autonomía por conveniencia. Al considerar el peligro de no apadrinamiento, los beneficios potenciales deben equilibrarse cuidadosamente contra los costos directos, indirectos y externos, incluida la seguridad. Sin una comprensión clara del valencia que pueden aportar LLMS, las empresas pueden encontrar que los riesgos y los costos superan las recompensas.

Rama 2: Amenazas existentes de AI

A mediados de octubre de 2024, nuestra capacidad de inteligencia de seguridad «World Watch» publicó un aviso que resumió el uso de la IA por parte de los actores ofensivos de la próximo forma: «La apadrinamiento de IA por parte de APTS sigue siendo probable en las primeras etapas, pero es solo cuestión de tiempo ayer de que se generalice». Una de las formas más comunes en que los grupos de amenazas alineados y patrocinados por el estado han estado adoptando IA en sus cadenas de matar es mediante el uso de chatbots de IA generativos como ChatGPT para fines maliciosos. Evaluamos que estos usos difieren según las capacidades e intereses de cada reunión.

• Los actores de amenaza de Corea del Ideal supuestamente han estado aprovechando los LLM para comprender mejor las vulnerabilidades informadas públicamente ⁽⁹⁾para tareas básicas de secuencias de comandos y para el registro objetivo (incluida la creación de contenido dedicada utilizada en la ingeniería social).
• Se vio a los grupos iraníes generando correos electrónicos de phishing y usaron LLM para rasparse web ⁽¹⁰⁾.
• Grupos chinos como Charcoal Typhoon abusaron de LLM para comandos avanzados representativos del comportamiento posterior a la compromiso ^(10).

En el 9 de octubre, Openai reveló ⁽¹¹⁾ que desde principios de año había interrumpido más de 20 abusos de chatgpt destinados a depurar y desarrollar malware, difundir información errónea, esquivar la detección y divulgar ataques con phishing. Estos usos maliciosos se atribuyeron a los actores de amenaza china (SweetSpecter) e iraní (Cyberav3ngers y Storm-0817). El clúster chino SweetSpecter (rastreado como TGR-STA-0043 por Palo Stop Networks) incluso se dirigió a empleados de OpenAI con ataques de phishing de venablo.

Recientemente, incluso se han observado grupos de amenazas patrocinados por el estado que llevan a sitio campañas de desinformación e influyen en las elecciones presidenciales de los Estados Unidos, por ejemplo. Varias campañas atribuidas a los actores de amenaza iraní, rusos y chinos aprovecharon las herramientas de IA para despellejar la confianza pública en el sistema tolerante de los Estados Unidos o desacreditar a un candidato. En su Documentación de Defensa Digital 2024, Microsoft confirmó esta tendencia, y agregó que estos actores de amenaza estaban aprovechando la IA para crear texto, imágenes y videos falsos.

Crimen cibernético

Por otra parte de emplear los chatbots legítimos, los ciberdelincuentes incluso han creado «LLMS oscuros» (modelos entrenados específicamente para fines fraudulentos) como Fraudgpt, WORMGPT y Darkgemini. Estas herramientas se utilizan para automatizar y mejorar las campañas de phishing, ayudar a los desarrolladores de quebranto calificación a crear malware y originar contenido relacionado con la estafa. Por lo genérico, se anuncian en Darkweb y Telegram, con afectación en la función criminal del maniquí.

Algunos grupos de amenazas motivados financieramente incluso están agregando IA a sus cepas de malware. Un aviso flamante de World Watch sobre la nueva traducción del Rhadamanthys InfoTealer describe nuevas características que dependen de la IA para analizar imágenes que pueden contener información importante, como contraseñas o frases de recuperación.

En nuestro monitoreo continuo de foros y mercados cibercriminales, observamos un claro aumento en los servicios maliciosos que apoyan actividades de ingeniería social, que incluyen:

• Fallasnotablemente para esquemas de sextortion y romance. Esta tecnología se está volviendo más convincente y menos costosa con el tiempo.
• Herramientas de phishing y BEC a IA Diseñado para simplificar la creación de páginas de phishing, contenido de las redes sociales y copias de correo electrónico.
• Phishing de voz con AI. En un noticia publicado el 23 de julio, Google reveló ⁽¹²⁾ Cómo la cría (o la espantaje de voz) impulsada por IA, facilitada por sintetizadores de voz mercantilizados, era una amenaza emergente.

Explotación de vulnerabilidad

AI todavía enfrenta límites cuando se usa para escribir un código de exploit basado en una descripción de CVE. Si la tecnología progreso y se pone más fácilmente arreglado, es probable que sea de interés tanto para los cibercriminales como para los actores respaldados por el estado. Una LLM capaz de encontrar autónoma una vulnerabilidad crítica, escribir y probar el código de exploit y luego usarlo contra objetivos, podría afectar profundamente el panorama de amenazas. Las habilidades de expansión de explotación podrían ser accesibles para cualquier persona con golpe a un maniquí de IA progresista. Gracias a Dios, el código fuente de la mayoría de los productos no está fácilmente arreglado para capacitar a dichos modelos, pero el software de código rajado puede presentar una prueba de prueba útil.

Rama 3: Nuevas amenazas de LLMS

Las nuevas amenazas que surjan de la apadrinamiento generalizada de LLM dependerán de cómo y dónde se utiliza la tecnología. En este noticia, nos centramos estrictamente en LLM y debemos considerar si están en manos de atacantes, empresas o sociedad en genérico. Para las empresas, ¿son consumidores de servicios o proveedores de LLM? Si es un proveedor, ¿están construyendo sus propios modelos, obteniendo modelos o obteniendo capacidades completas de otros?

Cada proscenio introduce diferentes amenazas, que requieren controles personalizados para mitigar los riesgos específicos de ese caso de uso.

Amenazas para los consumidores

Un consumidor utiliza productos y servicios de Genai de proveedores externos, mientras que un proveedor crea o progreso los servicios orientados al consumidor que aprovechan las LLM, ya sea desarrollando modelos internos o utilizando soluciones de terceros. Es probable que muchas empresas adopten los dos roles con el tiempo.

Es importante examinar que los empleados casi seguramente ya están utilizando Genai sabido o almacén para fines laborales y personales, planteando desafíos adicionales para las empresas. Para aquellos que consumen servicios externos de LLM, ya sean empresas o empleados individuales, los riesgos principales giran en torno a la seguridad de los datos, con cumplimiento adicional y preocupaciones legales a considerar. Los principales riesgos relacionados con los datos incluyen:

Fugas de datos: Los trabajadores pueden divulgar involuntariamente datos confidenciales a los sistemas LLM como ChatGPT, ya sea directamente o mediante la naturaleza de sus consultas.

Sueño: Genai puede producir contenido inexacto, engañoso o inapropiado que los empleados podrían incorporar a su trabajo, creando una responsabilidad admitido. Al originar código, existe el peligro de que pueda ser incorrecto o inseguro ⁽¹³⁾.

Derechos de propiedad intelectual: A medida que las empresas usan datos para capacitar a LLM e incorporan resultados en su propiedad intelectual, las preguntas no resueltas sobre la propiedad podrían exponerlos a responsabilidad por violaciones de los derechos.

Los resultados de Genai solo mejoran la productividad si son precisos, apropiados y legales. Los resultados generados por IA no regulados podrían introducir información errónea, responsabilidad o riesgos legales para el negocio.

Amenazas para los proveedores

Un conjunto de amenazas completamente diferente surge cuando las empresas eligen integrar LLM en sus propios sistemas o procesos. Estos pueden clasificarse ampliamente de la próximo forma:

Amenazas relacionadas con el maniquí

Un LLM capacitado o sintonizado tiene un valencia inmenso para su desarrollador y, por lo tanto, está sujeto a amenazas a su confidencialidad, integridad y disponibilidad.

En el postrero caso, las amenazas a los modelos propietarios incluyen:

• Robo del maniquí.
• «Envenenamiento» adversario para afectar negativamente la precisión del maniquí.
• Destrucción o interrupción del maniquí.
• Responsabilidad admitido que puede surgir del maniquí que produce contenido incorrecto, tergiversativo, engañoso, inapropiado o ilegal.

Evaluamos, sin confiscación, que surgirán las nuevas amenazas más significativas de la anciano superficie de ataque cuando las organizaciones implementen Genai interiormente de sus entornos técnicos.

Genai como superficie de ataque

Genai son nuevas tecnologías complejas que consisten en millones de líneas de código que expanden la superficie de ataque e introducen nuevas vulnerabilidades.

A medida que las herramientas generales de Genai como ChatGPT y Microsoft Copilot se vuelven ampliamente disponibles, ya no ofrecerán una delantera competitiva significativa por sí mismos. El seguro poder de la tecnología LLM radica en integrarlo con los datos o sistemas patentados de una empresa para mejorar el servicio al cliente y los procesos internos. Un método secreto es a través de interfaces de chat interactivas impulsadas por Genai, donde los usuarios interactúan con un chatbot que genera respuestas coherentes y conscientes del contexto.

Para mejorar esto, la interfaz de chat debe emplear las capacidades como la procreación de recuperación aumentada (RAG) y API. Genai procesa consultas de usuarios, RAG recupera información relevante de las bases de conocimiento propietarias y las API conectan el Genai con los sistemas de backend. Esta combinación permite al chatbot proporcionar panorama contextualmente precisas mientras interactúa con sistemas de backend complejos.

Sin confiscación, exponer a Genai como el techo de seguridad entre los usuarios y los sistemas de back -end de una corporación, a menudo directamente a Internet, introduce una nueva superficie de ataque significativa. Al igual que las interfaces de aplicaciones web gráficas que surgieron en la término de 2000 para ofrecer un golpe obediente e intuitivo a los clientes comerciales, es probable que tales interfaces de chat transformen canales digitales. A diferencia de las interfaces web gráficas, la naturaleza no determinista de Genai significa que incluso sus desarrolladores pueden no comprender completamente su dialéctica interna, creando enormes oportunidades para las vulnerabilidades y la explotación. Los atacantes ya están desarrollando herramientas para explotar esta opacidad, lo que lleva a desafíos de seguridad potenciales similares a los vistos con aplicaciones web tempranas, que todavía están afectando a los defensores de seguridad hoy.

Engañar a los LLM de sus ‘barandillas’

El Esquema Open Web Application Security (OWASP) ha identificado la «inyección rápida» como la vulnerabilidad más crítica en las aplicaciones de Genai. Este ataque manipula los modelos de idioma al incorporar instrucciones específicas interiormente de las entradas del becario para desencadenar respuestas no intencionadas o dañinas, revelando la información confidencial o eludiendo salvaguardas. Los atacantes crean entradas que anulan el comportamiento tipificado del maniquí.

Las herramientas y fortuna para descubrir y explotar la inyección inmediata están surgiendo rápidamente, similar a los primeros días del pirateo de aplicaciones web. Esperamos que la piratería de interfaz de chat siga siendo un problema significativo de seguridad cibernética durante abriles, dada la complejidad de los LLM y la infraestructura digital necesaria para conectar las interfaces de chat con sistemas propietarios.

A medida que estas arquitecturas crecen, las prácticas de seguridad tradicionales, como el expansión seguro, la obra, la seguridad de los datos y la gobierno de identidad y golpe, se volverán aún más cruciales para respaldar la autorización adecuada, el control de golpe y la gobierno de privilegios en este panorama en cambio.

Cuando el sitio de chatbot «NSFW» AI Muah.ai fue violado en octubre de 2024, el hacker describió la plataforma como «un puñado de proyectos de código rajado encajados en conductos juntos». Aparentemente, según los informes, «no fue ningún problema encontrar una vulnerabilidad que proporcionara golpe a la pulvínulo de datos de la plataforma». Predecimos que tales informes se convertirán en un espacio popular en los próximos abriles.

Conclusión: Más de lo mismo no es una nueva dimensión

Como cualquier tecnología poderosa, lógicamente tememos que el impacto pueda tener en manos de nuestros adversarios. Se presta mucha atención a la cuestión de cómo la IA podría «acelerar la amenaza. La incertidumbre y la ansiedad que surge de este cambio resultón en el panorama de amenazas, por supuesto, se explota para defender una anciano inversión en seguridad, a veces honestamente, pero a veces incluso duplicada.

Sin confiscación, si perfectamente algunas cosas ciertamente están cambiando, muchas de las amenazas destacadas por los alarmistas de hoy preexisten la tecnología LLM y no requieren falta más de nosotros que seguir haciendo lo que ya sabemos hacer. Por ejemplo, todas las siguientes acciones de amenaza, aunque quizás mejoradas por LLMS, ya se han realizado con el apoyo de ML y otras formas de IA ⁽¹⁴⁾ (o de hecho, sin IA):

• Suplantación en secante
• Correos y sitios de phishing baratos y creíbles
• Falsificaciones de la voz
• Traducción
• Crujido de contraseña predictiva
• Descubrimiento de vulnerabilidad
• Piratería técnica

La rudimentos de que los adversarios pueden ejecutar tales actividades con más frecuencia o más fácilmente es motivo de preocupación, pero no necesariamente requiere un cambio fundamental en nuestras prácticas y tecnologías de seguridad.

Los LLM como una superficie de ataque por otro flanco se subestiman enormemente. Es crucial que aprendamos las lecciones de revoluciones tecnológicas anteriores (como aplicaciones web y API) para no repetirlas adoptando imprudentemente una tecnología no probada y poco evidente en el techo entre el ciberespacio rajado y nuestros activos internos críticos. Se recomienda a las empresas que sean extremadamente cautelosas y diligentes para considerar los beneficios potenciales de implementar un Genai como interfaz, con los riesgos potenciales que una tecnología tan compleja y no probada seguramente introducirá. Esencialmente, enfrentamos al menos los mismos problemas de seguridad de golpe y datos que ya conocemos desde los amanecer de la era de la nimbo y la posterior rozamiento del perímetro clásico de la compañía.

A pesar de las innovaciones innovadoras que estamos observando, el «peligro» de seguridad todavía se compone fundamentalmente del producto de amenaza, vulnerabilidad e impacto, y un LLM no puede crearlos mágicamente si aún no están allí. Si esos utensilios ya están allí, el peligro con el que tiene que porfiar una empresa es en gran medida independiente de la existencia de IA.

Esto es solo un extracto de la investigación que hicimos en AI y LLM. Para descifrar la historia completa y el aviso más detallado, así como las historias de expertos sobre cómo funcionan las inyecciones rápidas para manipular LLM y trabajar fuera de sus barandillas de seguridad, o cómo los defensores usan AI para detectar señales sutiles de compromiso en vastas redes: todo está en el navegador de seguridad 2025. ¡Diríjase a la página de descarga y obtenga su copia!