En 2023, se produjo un gran avance en el desarrollo de herramientas que utilizan algoritmos de inteligencia artificial (IA), y el mercado de tecnología de IA creció en un tercio. Las tecnologías de aprendizaje virtual¹ se están incorporando a nuestra vida cotidiana, incluso para tareas relacionadas con el trabajo, como recopilar y preparar información, resumir textos grandes, y generar contenido. 

Las tecnologías de IA se están implementando en diversas industrias, como la fabricación, la medicina, la agricultura, el comercio minorista y el entretenimiento. La inteligencia artificial se utiliza para automatizar diversas tareas, incluso las más complejas, como conducir automóviles, reconocer objetos (por ejemplo, tumores en la medicina o malezas en la agricultura), optimizar las cadenas de suministro y la ubicación de los puntos de venta minorista, y generar contenido de entretenimiento. Sin embargo, las amplias capacidades de los sistemas de IA existentes y su gran potencial están atrayendo la atención no solo de las empresas sino también de los ciberdelincuentes. Los atacantes están experimentando con formas de incorporar la inteligencia artificial en diferentes tipos y etapas de ataques.

La IA se puede aplicar para una amplia gama de propósitos cibercriminales. Con sistemas de IA generativos, los delincuentes pueden recopilar rápidamente información sobre sus objetivos, crear contenido para ataques (ya sean correos electrónicos de phishing, llamadas de audio o deepfakes de video), generar código malicioso y buscar vulnerabilidades en aplicaciones específicas. Las herramientas maliciosas que integran tecnologías de IA se pueden utilizar para automatizar el análisis de grandes volúmenes de datos en ataques de canal lateral y en otras etapas de ataque.

¿Pueden los delincuentes utilizar la IA para automatizar los ciberataques? ¿Qué amenazas plantean los deepfakes? ¿Cuáles son las perspectivas de utilizar la IA en los ciberataques, y qué acciones se deben tomar ahora para proteger a las personas y las organizaciones de los ataques de los ciberdelincuentes? En este estudio, evaluaremos el papel de las herramientas basadas en IA en el arsenal de los ciberdelincuentes en la actualidad. 

A pesar del uso limitado de la IA en los ciberataques hasta ahora, el potencial de la tecnología es enorme. Los ciberdelincuentes están introduciendo activamente nuevos métodos prometedores en los ataques y siguen buscando formas de escalar y optimizar sus operaciones mediante una mayor implementación de la IA. 

El uso potencial de la IA en los ciberataques se puede dividir aproximadamente en varios niveles según el grado de automatización del proceso.

1.    Asistencia a un ciberdelincuente novato en la etapa inicial de planificación de un ataque

Los grandes modelos de lenguaje pueden ayudar a los ciberdelincuentes novatos a comprender los conceptos básicos, proporcionar información concisa y responder rápidamente a preguntas básicas. 

Si un ciberdelincuente elude las restricciones de seguridad para generar contenido inaceptable o utiliza un LLM creado especialmente para delincuentes, puede obtener respuestas a preguntas más complejas. Por ejemplo, el delincuente puede preguntar si ha pasado por alto algo en su plan de ataque o explorar diferentes enfoques para una etapa específica del ataque. 

2.    Asistencia para realizar determinadas etapas del ataque

Más allá de las preguntas básicas, los ciberdelincuentes pueden utilizar la IA como asistente digital y para generar contenido malicioso para pasos específicos de un ataque. La IA puede sugerir acciones óptimas al delincuente y realizar acciones simples en su nombre. Por ejemplo, los ciberdelincuentes ya están utilizando la IA para generar scripts y verificar códigos al preparar malware. 

3.    Automatización de determinadas etapas del ataque

Los ciberdelincuentes ya están utilizando en sus ataques las capacidades generativas de la IA y su capacidad para procesar grandes volúmenes de información. Los delincuentes generan mensajes de phishing y deepfakes, automatizan cuentas fraudulentas, explotan vulnerabilidades, y recopilan y analizan información sobre la víctima. Se espera que los ciberdelincuentes involucrarán cada vez más a la IA en diversas etapas de sus ataques.

4.    Automatización total de un ataque

Hasta ahora, ningún ataque se ha atribuido por completo a la inteligencia artificial. Sin embargo, los ciberdelincuentes, así como los equipos de seguridad de la información, automatizan cada vez más sus esfuerzos. Prevemos que, con el tiempo, las herramientas de los ciberdelincuentes y los módulos de IA se fusionarán en clústeres para automatizar cada vez más etapas de ataque hasta que puedan cubrir la mayor parte del ataque. 

5.    Automatización de las campañas de ciberdelincuencia

Si los ciberdelincuentes logran automatizar los ataques a cualquier objetivo seleccionado, el siguiente paso puede ser dejar que la IA busque objetivos de forma independiente en función de ciertas características y parámetros, como empresas o países.

Una de las primeras etapas de un ataque es el reconocimiento y la recopilación de información. Los ciberdelincuentes pueden necesitar tanto detalles técnicos como datos personales sobre sus víctimas. La IA permite a los ciberdelincuentes automatizar todo el proceso de OSINT², que implica la recopilación, el análisis y el resumen de la información necesaria (un ejemplo del tercer nivel de uso de la IA en nuestro marco). 

Chatbots de OSINT

En 2023 y 2024, se lanzaron varios grandes modelos de lenguaje, incluidos los patentados como ChatGPT-4 y ChatGPT-4o, el Llama 2 de código abierto, y los modelos rusos YandexGPT y GigaChat. Los grandes modelos de lenguaje pueden recopilar y procesar información rápidamente, lo que ayuda significativamente a los ciberdelincuentes en cada etapa de la OSINT. 

La OSINT comienza con la identificación de las fuentes, y la IA puede sugerir inmediatamente las opciones más prometedoras para luego complementar y refinar la lista a medida que se obtiene nueva información sobre el objetivo. Una vez identificadas las fuentes, comienza la recopilación y el procesamiento de datos. Uno de los principales desafíos de la OSINT en esta etapa es el gran volumen de información, que requiere un tiempo significativo para procesarse. Las tecnologías de IA abordan este problema automatizando las búsquedas de datos en diferentes formatos y fuentes, lo que permite un reconocimiento más amplio. 

La IA puede recopilar datos de una amplia gama de fuentes, incluidas las redes sociales, los sitios web, las noticias, los documentos disponibles públicamente, las fotos y los videos. A través de esto, los ciberdelincuentes pueden recopilar información extensa sobre individuos, así como sobre organizaciones y sus empleados. A partir de estos datos, las herramientas impulsadas por IA pueden extraer rápidamente detalles útiles para los ciberdelincuentes, como información personal y de inicio de sesión, hábitos y pasatiempos de la víctima, o información sobre las actividades y la infraestructura técnica de la organización objetivo, cualquier cosa que pueda ser relevante para planificar los próximos pasos del ataque. 

Más allá de la búsqueda en las fuentes de datos, la IA podría usarse potencialmente para construir un perfil del objetivo basado en los datos recopilados. Los resultados del reconocimiento generalmente se compilan en un informe que consolida toda la información recopilada, y aquí, una vez más, la IA demuestra ser valiosa: los grandes modelos de lenguaje son expertos en resumir datos y pueden proporcionar a los ciberdelincuentes los detalles más importantes en un formato conciso.

Otro efecto de la incorporación de la IA a la OSINT es la eliminación de las barreras lingüísticas. Los ciberdelincuentes pueden recopilar información en otros idiomas y traducirla, lo que les permite dirigirse a nuevas regiones geográficas y ampliar el alcance de sus operaciones.

Hoy en día ya existen varias herramientas de ciberseguridad de OSINT de dominio público, como OCIGPT y Taranis_AI (esta última, cofinanciada por el Mecanismo "Conectar Europa" de la Unión Europea). Estas herramientas proporcionan asistencia experta a los analistas en la recopilación de datos de las redes sociales, la web oscura, los sitios web y las transacciones de criptomonedas, así como en la organización de la información en informes en varios formatos. Con el tiempo, los ciberdelincuentes pueden desarrollar herramientas similares con fines delictivos. 

Los ciberdelincuentes ya han utilizado la IA para la OSINT. En 2023, al menos cinco grupos utilizaron productos de OpenAI para recopilar información de código abierto, recopilando datos sobre sus rivales, herramientas de ciberseguridad, diversas tecnologías y protocolos, agencias de inteligencia y otras organizaciones, y expertos individuales. También aprendieron a ocultar sus procesos y a traducir documentación técnica con la ayuda de la IA. 

Los chatbots no solo son utilizados por los grupos APT. Por ejemplo, los administradores de varios foros de la web oscura han utilizado chatbots para buscar información más rápidamente. 

Análisis de redes sociales impulsado por IA 

Un canal habitual para recopilar información sobre un objetivo son las publicaciones en las redes sociales. Con solo una foto, los ciberdelincuentes pueden encontrar fácilmente las cuentas de una persona. Hace tiempo que existen herramientas para buscar cuentas de redes sociales a partir de una sola foto, incluidas opciones basadas en IA como EagleEye, que utiliza el aprendizaje automático para buscar cuentas en cuatro redes sociales a partir de una imagen. 

En octubre de 2023, investigadores de la ETH de Zúrich demostraron cómo se pueden utilizar grandes modelos de lenguaje para recopilar datos sobre un objetivo, incluidos el género, la edad, el estado civil, la residencia y el lugar de nacimiento, la educación, la profesión, y los ingresos. A pesar de algunas deficiencias en la calidad, GPT-4 pudo recopilar información con una precisión y un alcance cercanos a los de un especialista humano, pero significativamente más rápido.

Perspectivas de recopilación de información asistida por IA

En el futuro, los ciberdelincuentes podrían utilizar herramientas de IA para extraer información de fotos y videos compartidos públicamente, incluidos datos sobre ubicaciones, software, modelos de dispositivos en uso, los intereses del objetivo o incluso información confidencial, como credenciales de inicio de sesión, capturada accidentalmente en imágenes. 

Además de recopilar información, las herramientas de IA podrían potencialmente completar los datos faltantes en función de lo que ya han recopilado. Por ejemplo, podrían predecir la arquitectura de red de una empresa objetivo analizando empresas similares dentro del mismo sector y de tamaño comparable. Utilizando datos públicos de redes sociales, también podrían rastrear páginas web olvidadas pero aún activas para buscar vulnerabilidades. Un importante avance tecnológico podría permitir a los ciberdelincuentes desarrollar herramientas basadas en IA capaces de crear una copia digital de un sistema basándose en escaneos y datos recopilados sobre el objetivo. Con esta réplica digital, los atacantes podrían simular ataques reales, modelar diversas acciones y probar malware.

La explotación de vulnerabilidades sigue siendo un método de ataque común. Según nuestros datos, se utilizó en uno de cada tres ataques exitosos a organizaciones (35 %) en la primera mitad de 2024. Actualmente, los ciberdelincuentes utilizan la IA para ayudar en tareas específicas de explotación de vulnerabilidades (esto representa el segundo nivel de uso de la IA: ayudar con los pasos de ataque individuales). Si las soluciones de automatización más prometedoras resultan efectivas, el uso de la IA en esta área pasará al tercer nivel (automatización de pasos completos).

En agosto de 2023, un estudio mostró que los grandes modelos de lenguaje (LLM) pueden ayudar a los evaluadores de penetración recopilando información sobre un sistema objetivo y automatizando la explotación de vulnerabilidades simples. En 2024, el experto en seguridad de aplicaciones web de Positive Technologies, Igor Sak-Sakovskiy, describió cómo ChatGPT pudo descubrir una vulnerabilidad de inyección de entidad externa (XXE) de XML en un navegador web. 

En febrero de 2024, los investigadores de la Universidad de Illinois en Urbana-Champaign confirmaron que los agentes de LLM⁴ podían buscar y explotar vulnerabilidades de sitios web. De los 10 modelos de lenguaje probados, solo GPT-4 mostró resultados coherentes en vulnerabilidades simples. En abril de 2024, el mismo equipo logró mejorar sus resultados: utilizando agentes de LLM, pudieron explotar varias vulnerabilidades de un día del mundo real. Nuevamente, solo GPT-4 tuvo éxito, siempre que los investigadores proporcionaran al LLM una descripción de la vulnerabilidad. Y finalmente, en junio de 2024, estos investigadores utilizaron equipos de agentes de LLM para explotar vulnerabilidades de día cero. Introdujeron un nuevo método, HPTSA (agentes de planificación jerárquica y específicos de tareas), que implica dividir las tareas entre diferentes agentes. Un agente planificador investiga el sistema de destino y envía información a un agente administrador. El agente administrador selecciona el agente más adecuado para una tarea específica. Además, este agente administrador conserva información de sesiones anteriores, lo que le permite reiniciar agentes para determinadas tareas, con instrucciones refinadas o modificadas. En teoría, estos sistemas podrían extenderse más allá de la explotación de vulnerabilidades web con fines de investigación; en el futuro, podrían ser ampliamente utilizados tanto por evaluadores de penetración como por ciberdelincuentes. 

4. Los agentes de LLM son kits de software capaces de ejecutar tareas planificando de forma independiente los procesos de trabajo y utilizando las herramientas disponibles. 

HPTSA es una variante de un enfoque modular en el que los usuarios pueden agregar y modificar componentes de la herramienta, por ejemplo, actualizar el agente de planificación o emplear agentes más específicos para cada tarea. Prevemos que, en un futuro cercano, los ciberdelincuentes implementarán la IA en este formato modular: los fragmentos se pueden reemplazar o complementar con opciones de software tradicionales, lo que permite la experimentación para aprovechar las fortalezas de la IA sin comprometer los resultados. 

Los ciberdelincuentes no necesariamente necesitan desarrollar sus propias herramientas: las herramientas basadas en IA diseñadas para pruebas de penetración inevitablemente terminarán en manos maliciosas. Además, algunas de estas herramientas están disponibles públicamente, como DeepExploit. 

En agosto de 2024, los desarrolladores de XBOW, una empresa emergente de pruebas de penetración basada en IA, realizaron un estudio que demostró que su producto puede funcionar a la par con un evaluador de penetración altamente calificado al manejar puntos de referencia simples y de nivel medio. Podemos suponer que, en el futuro, estas herramientas reducirán el umbral de conocimiento necesario para que los ciberdelincuentes exploten las vulnerabilidades, lo que aumentará la frecuencia de los ataques. Por lo tanto, recomendamos que las empresas establezcan un proceso de gestión de vulnerabilidades y consideren participar en programas bug bounty de manera proactiva hoy, en lugar de esperar la inevitable evolución de las herramientas de los ciberdelincuentes. 

Según nuestros datos, en el primer semestre de 2024, la ingeniería social se utilizó en el 50 % de los ataques exitosos a organizaciones, mientras que la cifra para individuos es del 88 %. En 2023, los mensajes de phishing se utilizaron en un tercio (34 %) de los ataques exitosos a organizaciones. Las tecnologías de aprendizaje virtual han permitido a los ciberdelincuentes ampliar el uso de las técnicas de ingeniería social existentes y agregar nuevos métodos. Por ejemplo, en febrero de 2024, OpenAI informó que al menos tres grupos APT habían utilizado los productos de la empresa para recopilar información y generar contenido para campañas de phishing.

Gracias a la inteligencia artificial, los actores maliciosos pueden generar de forma rápida y sencilla mensajes de phishing convincentes en varios idiomas, automatizar diálogos, y crear deepfakes de audio y video. Los ciberdelincuentes también pueden generar contenido para sitios de phishing y automatizar la creación de versiones falsas de sitios legítimos. Los enlaces a estas copias de phishing se pueden incorporar en correos electrónicos de phishing generados por LLM, por ejemplo, para recopilar credenciales. 

De este modo, las capacidades generativas de la IA pueden cubrir toda la etapa de phishing de un ataque. La ingeniería social es donde más se ha desarrollado el uso de la IA en los ciberataques, acercándose al cuarto nivel (automatización total del ataque). La IA podría potencialmente comenzar a vincular ataques con motivaciones financieras en una sola cadena, por ejemplo, recopilando información sobre la víctima y luego generando phishing dirigido en función de estos datos. 

Un año después del lanzamiento de ChatGPT-4.0, la investigación de SlashNext encontró un aumento del 1265 % en la cantidad de correos electrónicos de phishing. Una posible razón de este aumento puede ser la generación masiva de correos electrónicos falsos utilizando grandes modelos de lenguaje.

Cómo eludir las restricciones de LLM en el phishing

Los LLM de los desarrolladores oficiales tienen restricciones en cuanto a la generación de contenido inapropiado y potencialmente peligroso. Por ejemplo, ChatGPT se negará a generar instrucciones para crear una bomba, producir código malicioso o escribir un correo electrónico de phishing. 

Sin embargo, para los ciberdelincuentes que entienden los principios del phishing, eludir estas restricciones es relativamente fácil. Por ejemplo, los mensajes de phishing y los mensajes publicitarios difieren solo en el propósito: ambos tienen como objetivo captar su atención y hacer que interactúe con la oferta del correo electrónico; sin embargo, en lugar de ofrecer un descuento en su cafetería favorita, un mensaje de phishing lo lleva a una trampa. Por lo tanto, incluso si un modelo de IA se niega a generar un correo electrónico de phishing, a menudo es suficiente reemplazar el término "phishing" por "publicitario" o "informativo" en la solicitud para eludir la restricción. Estas solicitudes de "doble propósito" parecen legales para los filtros de LLM y pasan para su generación.

Algunos modelos de lenguaje, a pesar de las supuestas restricciones, pueden responder a solicitudes maliciosas directas, simplificando la tarea para los potenciales atacantes.

Básicamente, cualquier mensaje publicitario o informativo legítimo podría usarse potencialmente para realizar phishing, por lo que no hay solución para este problema. Intentar bloquear la generación de dichos mensajes en grandes modelos de lenguaje terminaría con limitaciones excesivamente estrictas. 

Incluso si imaginamos que los desarrolladores de LLM logran crear filtros que bloquean la generación de contenido de doble propósito, existen otros métodos más complejos para eludir las restricciones. Para generar texto de phishing y otro contenido ilegal, los ciberdelincuentes pueden utilizar la técnica de inyección rápida. Se trata de solicitudes que contienen instrucciones que obligan al modelo a ignorar las restricciones internas establecidas por los desarrolladores. La variante más popular y conocida es una solicitud de jailbreak. Este tipo de solicitud obliga a un modelo de lenguaje a asumir el papel de un personaje o algoritmo sin restricciones: el modelo de IA podría asumir la identidad de cualquier persona (una figura histórica real, un personaje ficticio, otra red neuronal o él mismo); el objetivo es hacer que se comporte como si estuviera en un entorno de prueba. Es importante que la personalidad impuesta no esté limitada por requisitos de seguridad, lo que significa que puede responder a cualquier solicitud potencialmente maliciosa. Incluso un actor malicioso sin experiencia puede utilizar una solicitud de este tipo; simplemente necesita encontrar una versión que funcione y enviarla a un modelo de lenguaje legítimo, completándola con su propia pregunta. 

Las solicitudes de jailbreak se bloquean regularmente, pero los atacantes encuentran constantemente nuevas formas de obligar a la IA a asumir un rol sin restricciones. 

La cantidad no es igual a la calidad

La mejor manera para los ciberdelincuentes de utilizar herramientas de aprendizaje automático es generar mensajes de phishing para ataques a gran escala dirigidos a una amplia gama de víctimas. En los ataques dirigidos, los modelos de IA actualmente funcionan peor que los especialistas humanos. En octubre de 2023, IBM realizó un experimento comparando dos correos electrónicos de phishing. Uno fue creado por IA generativa; el otro, por un equipo de ingenieros sociales. A pesar de la gran diferencia de tiempo (la IA completó la tarea en 5 minutos, mientras que los especialistas tardaron alrededor de 16 horas), el correo electrónico elaborado por humanos arrojó mejores resultados. El correo electrónico de phishing generado por IA utilizó frases genéricas, mientras que los especialistas recopilaron información de código abierto sobre el objetivo y adaptaron la estafa a una empresa específica. La IA generativa puede ayudar a los ciberdelincuentes en ataques masivos, creando correos electrónicos de phishing lo suficientemente convincentes para dirigirse a categorías amplias de víctimas. Sin embargo, en los ataques dirigidos a una organización específica o incluso a un individuo, los mensajes elaborados manualmente son más efectivos, como lo confirma un estudio de la Universidad de Harvard. Los textos de phishing generados por IA resultaron ser la mitad de efectivos que los correos electrónicos más sofisticados diseñados utilizando la experiencia de los investigadores en técnicas de phishing. 

Bots realistas

Además de los correos electrónicos, los ciberdelincuentes utilizan grandes modelos de lenguaje para crear personajes de bots realistas. Con la ayuda de estos bots, los estafadores pueden crear redes para la distribución de desinformación y simular una interacción activa en las redes sociales.

En 2023, investigadores de la Universidad de Indiana identificaron una botnet de más de mil cuentas en la red social X (antes, Twitter). Los bots usaban imágenes robadas e imitaban de manera convincente el comportamiento humano para difundir contenido generado por IA. Además, estos personajes falsos creaban la ilusión de una interacción real al responder a las publicaciones de los demás.

Los ciberdelincuentes también utilizan la IA generativa para automatizar la interacción con las víctimas. Un ejemplo destacado son los servicios de citas en línea. Según un informe de Arkose Labs, de enero de 2023 a enero de 2024, el número de bots en aplicaciones de citas creció un 2087 %. Los bots utilizan IA generativa para crear mensajes, fotos y otros contenidos. En 2023, los investigadores de Avast descubrieron el uso de la herramienta de estafa de citas Love GPT en al menos 13 servicios. Love GPT utiliza ChatGPT para simular conversaciones sinceras y emotivas. Estos diálogos suelen derivar en extorsión financiera. 

Cómo protegerse contra el phishing generado por IA 

Los correos electrónicos de phishing generados por IA no requieren enfoques de protección fundamentalmente nuevos. Al igual que con los correos electrónicos creados manualmente, los ciberdelincuentes explotan temas populares de phishing, intentando manipular emociones y provocar acciones impulsivas. Las organizaciones ya deben comenzar a tomar medidas para protegerse contra el creciente número de ataques de ingeniería social: actualizar las herramientas de seguridad del correo electrónico, capacitar a los empleados para que reconozcan los intentos de phishing, advertirles regularmente sobre posibles ataques y preparar medidas de respuesta a incidentes. 

Potencial de la IA en el phishing

Se espera que los ataques de ingeniería social sigan siendo una amenaza importante tanto para las organizaciones como para las personas. En el futuro, la IA podría permitir a los ciberdelincuentes automatizar varios procesos de phishing, como:

• Enviar mensajes en momentos adecuados o utilizar la información recopilada sobre el objetivo como asunto. La IA puede seleccionar automáticamente los temas de conversación que más probablemente atraigan al objetivo.
• Ajustar el tono de los mensajes para que coincida con el estado de ánimo del objetivo, especialmente útil en las redes sociales y los chats. Por ejemplo, la IA puede mantener un diálogo realista en una aplicación de citas durante varios días, llevando gradualmente a la víctima al ataque. 
• Llevar a cabo ataques complejos de suplantación de identidad de múltiples personas⁷. Actualmente, estos ataques requieren la participación directa de un especialista y, por lo general, solo se ven en operaciones complejas y dirigidas. Sin embargo, la IA podría hacer que estos ataques sean más generalizados, complicando significativamente el panorama del phishing. 

Para garantizar una ciberseguridad impulsada por los resultados, es esencial formar a los empleados para que reconozcan las técnicas de ingeniería social de los ciberdelincuentes, incluidas las que surgen debido a los avances en el aprendizaje automático y los deepfakes. 

Usando inteligencia artificial, los atacantes generan más que solo texto para realizar ataques. La tecnología deepfake permite la creación de imágenes, videos y muestras de voz falsos de personas basados en fotos y grabaciones reales. Los investigadores de Sumsub informan de un aumento de diez veces en el número de deepfakes en 2023 en comparación con 2022. Este crecimiento se debe a la aparición y difusión de herramientas de creación de deepfakes disponibles para el usuario medio, así como a las mejoras en la calidad del contenido falso generado.

El papel de los deepfakes puede variar mucho según el tipo de ataque. Un deepfake puede servir como cebo para llamar la atención, como manipulación para convencer a una víctima de que realice una acción deseada por el atacante o incluso como base para un fraude. Los deepfakes se han utilizado para manipular la opinión pública (46 %) durante acontecimientos de importancia mundial; por ejemplo, a menudo aparecían grabaciones falsas en las campañas electorales. En 2023 y 2024, los atacantes explotaron la autoridad de personas conocidas, creando dobles digitales para promover esquemas e inversiones fraudulentos (26 %). Los ciberdelincuentes también han aprendido a robar dinero haciéndose pasar por familiares y amigos cercanos de las víctimas, alegando estar en situaciones difíciles de la vida (6 %). Otros incidentes de deepfake (22 %) que también despertaron la preocupación del público incluyen el uso no autorizado de las voces y la imagen de los actores, el chantaje supuestamente por parte de las fuerzas del orden, y la generación de pornografía.

Las estadísticas incluyen solo ciberataques exitosos y casos de uso malicioso de deepfakes en 2023 y de enero a agosto de 2024 que tuvieron como resultado acceso no autorizado, robo financiero, daño a la reputación de la víctima o protesta pública.

Deepfake como herramienta de propaganda

El uso malicioso más extendido de los deepfakes es manipular la opinión pública. Las grabaciones falsas de discursos y videos que mancillan a los competidores se han convertido en una parte integral de las luchas políticas en todo el mundo. Para manipular la opinión pública, se han creado deepfakes de políticos, de personalidades de los medios e incluso de figuras políticas importantes del pasado. Estos deepfakes, al igual que los fraudulentos, suelen difundirse en las redes sociales y en las plataformas de alojamiento de videos, pero a veces llegan a las emisiones de televisión y radio. 

Según nuestros datos, más de la mitad (52 %) de los deepfakes relacionados con la manipulación de la opinión pública aparecen durante períodos electorales. En 2023 y 2024, los deepfakes acompañaron las campañas electorales en Argentina, los Estados Unidos, el Reino Unido, Eslovaquia, Turquía, Bangladés, India, Pakistán, Corea del Sur, Indonesia y Taiwán. El informe de ciberseguridad del Foro Económico Mundial nombró a los deepfakes como una de las principales amenazas para las numerosas elecciones de 2024. 

Suponemos que, en el futuro, todos los acontecimientos políticos importantes en varios países estarán acompañados de la difusión de numerosos deepfakes y de desinformación. 

Deepfakes de famosos en la publicidad

Los ciberdelincuentes están explotando activamente los deepfakes para promover esquemas fraudulentos. Para llevar a cabo los ataques, crean deepfakes de video de personalidades conocidas de los medios, de políticos o de figuras empresariales que supuestamente respaldan un producto o una inversión, tras lo cual el clip fraudulento se difunde por las redes sociales y por los servicios de alojamiento de videos. Según la investigación de Pindrop, este tipo de deepfakes, tanto de video como de audio, se encuentra con mayor frecuencia en estas plataformas. El objetivo de los atacantes en esta etapa es atraer la atención de las víctimas. 

Nuestros datos indican que el 61 % de las estafas prometen ganancias por inversiones, y más de la mitad (55 %) explotan el tema de las criptomonedas. Aprovechando la autoridad y la fama de las personas suplantadas, los ciberdelincuentes incentivan la inversión en esquemas supuestamente rentables o prometen regalos en criptomonedas a cualquiera que se registre en sus sitios fraudulentos. El dinero que las víctimas depositan es robado, y los datos que proporcionan pueden usarse para ataques posteriores.

También hay campañas que promocionan productos y regalos de manera fraudulenta: los precios de estos productos resultan ser significativamente más altos, y en lugar de recibir regalos, las víctimas se inscriben en suscripciones costosas. En algunos casos, los deepfakes formaban parte de campañas publicitarias de productos y servicios legítimos; sin embargo, esta publicidad se creó sin el consentimiento de las personas suplantadas. 

Familiares y amigos falsos

Los deepfakes permiten a los ciberdelincuentes no solo hacerse pasar por personas famosas, sino también realizar ataques selectivos contra personas simulando las voces e imágenes de sus familiares y amigos. En estos ataques, los delincuentes llaman y solicitan dinero urgentemente, alegando alguna emergencia o razón impactante para convencer a la víctima. Por ejemplo, en el otoño de 2023, los estafadores lograron engañar a una pareja canadiense para que les diera 10 000 dólares llamándola como su hijo, alegando que necesitaba dinero para la fianza para salir de la cárcel. Para que sus ataques sean más convincentes, los ciberdelincuentes pueden utilizar videollamadas, alterando no solo la voz, sino también la imagen. Uno de estos ataques provocó el robo de 4,3 millones de yuanes (unos 622 000 dólares) a un residente de China en mayo de 2023. Una llamada supuestamente de un amigo pidiendo ayuda en una subasta en otra ciudad engañó a la víctima tanto con la imagen como con la voz. El fraude se descubrió solo después de la transferencia, cuando se descubrió que en realidad el amigo no había realizado la llamada.

Deepfakes para engañar a los sistemas de verificación de identidad a distancia

Los deepfakes se pueden utilizar en ataques a sistemas de verificación de identidad a distancia. Particularmente vulnerables son los sistemas que se basan únicamente en la autofoto de una persona con un documento y en sistemas de autenticación biométrica simples, ya sea basados en la voz o que requieran imágenes y videos. Mediante deepfakes, los ciberdelincuentes pueden hacerse pasar por otras personas u obtener acceso a las cuentas y recursos de las víctimas. Por ejemplo, en 2023, la policía de Hong Kong arrestó a ciberdelincuentes que utilizaron tecnología deepfake para engañar a los sistemas de reconocimiento facial al solicitar un préstamo. Las imágenes falsas generadas se utilizaron durante el proceso de solicitud en línea, cuando las instituciones financieras requieren que los solicitantes carguen escaneos de sus documentos de identidad y autofotos en tiempo real. 

Los deepfakes y la generación de documentos falsos tienen el potencial de eludir muchos controles de identidad remotos. La gravedad de esta amenaza queda confirmada en un informe del Instituto Europeo de Normas de Telecomunicaciones sobre los riesgos de utilizar la IA para manipular "representaciones de identidad multimedia". 

8. Traducción del texto de la imagen: 
   "Saludos, usuarios del foro.
   Ofrecemos servicios de verificación y desbloqueo de cuentas/intercambios de criptomonedas, excelentes precios, cuenta personalizada = $160, nuestra cuenta = $140.
   Los precios pueden aumentar para una verificación más compleja, confirmen con nuestros contactos. Verificamos con cuentas reales o tecnología deepfake.
   Lista de muestra a continuación.
   Tenemos una amplia experiencia en el desbloqueo de intercambios de criptomonedas, podemos ayudar a recuperar billeteras si se pierde el acceso a las cuentas o proporcionar documentos falsos. 
   Trabajamos con DEEPFAKES

   También verificamos para bancos australianos.

   Trabajamos principalmente en la UE, CANADÁ y AUSTRALIA.

   ¡IMPORTANTE! Después de que se transfieren los datos de la cuenta, hay un período de 24 horas para la inspección de la cuenta. Después de eso, no somos responsables, pero siempre estamos listos para ayudar si surgen preguntas.

   Contáctenos vía Telegram:"

Ataques a organizaciones

Los ciberdelincuentes utilizan deepfakes para atacar no solo a personas, sino también a organizaciones. Según la encuesta de Regula de 2023, el 37 % de las organizaciones se han encontrado con deepfakes de voz, mientras que el 29 % ha sido atacado con videos falsos. Los ciberdelincuentes pueden utilizar deepfakes para acceder a los recursos internos de una empresa. En el verano de 2023, un atacante logró entrar en la empresa Retool iniciando el ataque a través de un SMS de phishing y obteniendo un código de autenticación multifactor utilizando un deepfake de audio con un empleado desprevenido. Los ataques basados en deepfakes pueden provocar pérdidas económicas para una organización. A principios de febrero de 2024, los deepfakes desempeñaron un papel clave en un ataque a una sucursal de una empresa multinacional de Hong Kong. Un trabajador de finanzas realizó transferencias a ciberdelincuentes por un total de alrededor de 25 millones de dólares, convencido mediante videollamadas con deepfakes haciéndose pasar por el director financiero y por otras personas. 

Además de los ataques a los empleados, los grupos APT están utilizando deepfakes para infiltrarse en las empresas. Utilizando deepfakes y datos personales robados, los ciberdelincuentes pasan entrevistas y verificaciones para puestos remotos, y llevan a cabo ataques desde dentro de la empresa. 

Prevemos un aumento en el uso de deepfakes en ataques a organizaciones. Los ciberdelincuentes utilizarán deepfakes para atacar tanto a los sistemas de verificación de identidad remotos como a los empleados directamente con el fin de obtener acceso no autorizado a los recursos de la empresa y robar fondos. Para contrarrestar estos ataques, es necesario preparar los sistemas de seguridad con antelación y formar a los empleados, enseñándoles a reconocer deepfakes y evitar responder a esquemas fraudulentos que los utilizan. Analizaremos los ataques deepfake en detalle en futuras investigaciones.

Los deepfakes se han convertido en un elemento básico en los arsenales de los delincuentes y se utilizan junto con otras técnicas y herramientas de ingeniería social, como los kits de phishing. 

Cabe destacar que los ciberdelincuentes no necesitan saber cómo crear deepfakes. Existen numerosas ofertas en fuentes abiertas y en foros de la web oscura para crear deepfakes con diversos fines: fraude, promoción de productos y servicios, y desacreditación de competidores.

9. Traducción del texto de la imagen: 
   "Deepfake Offensive Toolkit crea deepfakes controlables en tiempo real, de alta calidad, para pruebas de penetración.
   Por ejemplo, para eludir la verificación de identidad y la biometría."
    

10. Traducción del texto de la imagen: 
    "Nuestro equipo cumplirá con tus pedidos en poco tiempo
    Creamos deepfakes y videos promocionales para drenadores o cualquier otro tráfico condicionalmente libre
    ¡Hagamos realidad tus deseos!
    Cualquier idioma, cualquier personaje. Calidad HD
    También podemos encargarnos de la verificación
    El precio de los deepfakes comienza en $30 (el precio depende de la complejidad)
    El precio de los videos promocionales comienza en $30 (el precio depende de la complejidad)
    La verificación está disponible por una tarifa porcentual (a partir del 1 %) o una tarifa fija (el precio depende de la complejidad)
    Ejemplos: https://t.me/deepfakeSMCREW
    Contacto: https://t.me/PhantomPanda
    Para Jabber, envía un mensaje privado
    Servicio de depósito de garantía a tu cargo"

Los deepfakes y la ley

Los deepfakes deben considerarse una amenaza importante para la seguridad de la información a nivel legislativo. Los países han adoptado diferentes enfoques para regular la creación y distribución de deepfakes. En 2022, China publicó una ley especial centrada específicamente en la regulación de los deepfakes y de otros contenidos generados por IA. India aplica a los deepfakes las leyes existentes relacionadas con la tecnología de la información, la protección de datos y los derechos de autor. En Rusia, se está elaborando una ley sobre deepfakes: el 28 de mayo de 2024, se presentó en la Duma Estatal un proyecto de ley que propone sanciones penales para los deepfakes. 

El futuro de los deepfakes

En los últimos años, los deepfakes han evolucionado desde imitaciones toscas y fácilmente distinguibles hasta reproducciones bastante realistas de la voz y la apariencia de una persona. Prevemos que las próximas generaciones de deepfakes puedan implicar la creación de réplicas digitales de las víctimas y la integración de tecnología de reconocimiento de emociones. 

Los dobles digitales ya se han utilizado en el cine para recrear actores, y prevemos que la tecnología de réplicas digitales seguirá desarrollándose y será cada vez más utilizada por actores, políticos y otras figuras públicas. En el futuro, es posible que vendan los derechos para usar su apariencia y voz en publicidad o películas, creando "franquicias de deepfakes". Con el aumento del uso de dobles digitales legales, su uso en ataques (ya sea creando una nueva copia o robando una existente) es solo una cuestión de tiempo. También será muy difícil rastrear el uso de deepfakes entre las copias legales. 

La tecnología de reconocimiento de emociones que surgió en 2024 también puede convertirse eventualmente en parte del arsenal de los ciberdelincuentes. Con ella, podrán actuar de forma más efectiva, adaptando su ataque al objetivo principal de la ingeniería social: las emociones de la víctima. 

Una de las aplicaciones potencialmente más peligrosas de la IA en los ciberataques es la generación y modificación de malware. En teoría, el nuevo malware generado por IA no solo podría diferir del malware conocido y, por lo tanto, evadir la detección de seguridad, sino que también podría adaptarse al sistema objetivo durante un ataque, optimizar sus acciones y realizar una gama más amplia de tareas dentro del sistema de la víctima. Sin embargo, hasta ahora solo hemos visto unos pocos scripts supuestamente generados por LLM y ejemplos limitados de herramientas de IA capaces de generar y modificar código malicioso. Por lo tanto, en términos de malware, el uso de la IA permanece en el segundo nivel (ayudando con los pasos de ataque individuales). 

En septiembre de 2024, OpenAI presentó un nuevo modelo, o1, que mejora significativamente las soluciones anteriores en tareas de codificación. Las implicaciones de una herramienta de este tipo aún están por evaluarse por completo, pero es plausible que, en el futuro, los ciberdelincuentes puedan usar la IA para generar módulos de malware o incluso herramientas de ataque completas. 

Generación de scripts

En 2023, al menos cinco grupos APT utilizaron los servicios de OpenAI para probar códigos y ayudar a codificar scripts para aplicaciones y sitios web. Los investigadores están empezando a detectar scripts potencialmente generados por IA en ataques reales. Estos scripts se pueden distinguir por comentarios detallados y gramaticalmente correctos en el código. 

Los grupos Scattered Spider y TA547 utilizaron este tipo de scripts de PowerShell en la segunda mitad de 2023 y en abril de 2024. En septiembre de 2024, se encontró otro script de PowerShell potencialmente generado por IA en Francia. En julio de 2024, se informó de un ataque que involucraba un script de JavaScript potencialmente generado por IA. Hasta ahora, los ciberdelincuentes solo han logrado generar pequeños fragmentos de código malicioso, pero en el futuro, podrán generar no solo scripts individuales, sino también módulos de malware más grandes. 

Generación y modificación de malware

Los modelos generativos pueden crear potencialmente código malicioso basado en instrucciones de lenguaje natural. Esto permite a los ciberdelincuentes novatos obtener componentes de malware listos para usar sin habilidades avanzadas, mientras que los atacantes experimentados podrían automatizar y acelerar la preparación del ataque. Los ciberdelincuentes ya han demostrado código malicioso generado por IA en foros de la web oscura. Sin embargo, en esta etapa de desarrollo, las herramientas de IA no son capaces de generar de forma independiente código malicioso efectivo y sin errores basándose únicamente en solicitudes generales de un novato. Para beneficiarse de las herramientas de IA, los atacantes necesitan suficiente experiencia para formular solicitudes adecuadas a la red neuronal, así como para procesar y adaptar los resultados. Los novatos a menudo enfrentan desafíos ya en la etapa de formulación de la solicitud y, posteriormente, al adaptar y aplicar el resultado en un ataque. 

La modificación de malware con IA se puede dividir en dos aspectos: 1) ofuscación y modificación en la etapa de preparación del código, y 2) adaptación al sistema objetivo durante el ataque mismo utilizando herramientas de IA integradas. 

Durante la fase de preparación, los ciberdelincuentes pueden ofuscar el malware para complicar la detección por parte de los sistemas de seguridad. En 2024, los investigadores de Insikt Group lograron modificar el código de script malicioso utilizando IA, haciéndolo indetectable según varias reglas básicas de YARA. Si bien la IA aún no puede modificar eficazmente programas grandes, creemos que, con el tiempo, será posible que los ciberdelincuentes expertos capaces de recopilar conjuntos de datos de malware utilicen IA para la ofuscación de código. 

La adaptación del malware durante un ataque abre un amplio abanico de posibilidades. Para evitar que las herramientas de seguridad lo detecten, la IA podría ayudar a los ciberdelincuentes a disfrazar la actividad del malware como acciones legítimas, simular el comportamiento del usuario, alterar dinámicamente los canales de control, analizar las respuestas del host para identificar entornos sandbox y borrar registros. La IA puede mejorar la eficacia del malware seleccionando las acciones óptimas en función del análisis del sistema, identificando los puntos más vulnerables del sistema y programando los ataques para infligir el máximo daño. Adaptar las acciones durante un ataque requiere un análisis del funcionamiento del sistema de la víctima. Este es un desafío serio, incluso para herramientas legítimas que no necesitan permanecer ocultas. 

El malware adaptativo y que se autoenmascara podría complementarse con ataques de señuelo generados, con el objetivo de inundar los sistemas de seguridad y distraer a los equipos de respuesta a incidentes. Obligados a procesar esta sobrecarga de alertas, los especialistas corren mayor riesgo de pasar por alto las actividades más encubiertas del malware principal.

Potencial de un enfoque modular

Si bien el malware generado y modificado por IA sigue siendo complejo y discutible en términos de eficacia, hay otras tareas en las que la IA ya ha demostrado buenos resultados. Prevemos que la aplicación futura de la IA en el malware se centrará en un enfoque modular. Los ciberdelincuentes utilizarán módulos separados y agentes de LLM para realizar tareas específicas durante un ataque. Este enfoque tiene ventajas significativas, ya que los atacantes no necesitan entrenar un sistema complejo para llevar a cabo todo el ataque: la modularidad permite la adición, eliminación, actualización y reemplazo flexible de componentes de IA; y los módulos de IA pueden funcionar junto con soluciones clásicas con la misma funcionalidad para probar comparativamente su eficacia. Además, los ciberdelincuentes no necesariamente tienen que desarrollar sus propias soluciones: pueden implementar herramientas basadas en proyectos legítimos de código abierto. Por ejemplo, en la primavera de 2024, los investigadores de ASEC descubrieron el malware ViperSoftX, que utilizaba un módulo TesseractStealer basado en un proyecto de reconocimiento óptico de caracteres de aprendizaje profundo de código abierto. TesseractStealer fue diseñado para buscar imágenes almacenadas en un sistema en busca de cadenas relacionadas con claves OTP, contraseñas de recuperación y direcciones de criptocarteras. 

Hoy en día, uno de los principales desafíos a la hora de entrenar un solo sistema de IA para llevar a cabo un ataque a gran escala es la falta de datos de entrenamiento, que deberían incluir descripciones completas de numerosas secuencias de ataque. Estos datos se pueden encontrar, por ejemplo, en informes de pruebas de penetración, pero varias decenas de informes son insuficientes para fines de entrenamiento. Se requieren enormes cantidades de datos, que los atacantes aún necesitan obtener. Sin embargo, el enfoque modular no requiere datos tan extensos, ya que cada módulo de IA está entrenado para realizar una tarea específica, ya sea reconocer símbolos o explotar un tipo particular de vulnerabilidad. 

La inteligencia artificial puede usarse potencialmente para una variedad de tareas de ciberataque. Algunas de ellas ya se conocen, mientras que la identificación de nuevos usos ilegales de la IA sigue siendo una tarea importante para los investigadores de seguridad de la información. 

Asistentes de ataque

Hoy en día, los LLM pueden responder numerosas preguntas de los ciberdelincuentes y realizar con confianza tareas en el primer nivel de uso de la IA en ataques (asistir a un ciberdelincuente novato en las etapas iniciales de planificación de un ciberataque). Potencialmente, los LLM son capaces no solo de explicar los conceptos básicos de la realización de ciberataques, sino también de describir la estructura de organizaciones objetivo complejas. Al estudiar los procesos operativos de, por ejemplo, una empresa industrial, los ciberdelincuentes pueden identificar sistemas clave dentro de la cadena de producción que, si se ven comprometidos, causarían el máximo daño al objetivo. Además, los LLM se pueden utilizar para explicar rápidamente la estructura de aplicaciones e interfaces desconocidas para el delincuente, como los sistemas SCADA industriales. En 2023, los miembros del grupo Indrik Spider utilizaron ChatGPT en medio de un ataque para comprender cómo utilizar el portal de Azure. 

En el futuro, los LLM entrenados específicamente para ayudar con los ataques podrían asistir mucho a los ciberdelincuentes novatos y experimentados, ayudándolos a planificar una operación y a seleccionar el objetivo y el punto de ataque inicial, y brindando soporte en tiempo real para decisiones y recomendaciones para los próximos pasos mejores. 

CAPTCHA: La prueba de Turing ya no funciona

La prueba CAPTCHA (prueba de Turing pública completamente automatizada para diferenciar computadoras de humanos), diseñada para determinar si un usuario es una máquina o un humano, existe desde hace más de 20 años. Durante este tiempo, han surgido varios tipos de pruebas, que requieren que los usuarios introduzcan texto de imágenes distorsionadas o grabaciones de audio, o encuentren objetos en imágenes. Para evitar el CAPTCHA, los ciberdelincuentes utilizan tanto servicios con personas reales que resuelven las pruebas como soluciones basadas en tecnología, como el reconocimiento óptico de caracteres (OCR). 

Hoy en día, los ciberdelincuentes también pueden pasar los CAPTCHA con la ayuda de redes neuronales. Han surgido herramientas y bots listos para usar para pasar la prueba utilizando el aprendizaje virtual. Según un estudio de la Universidad de California, en 2023, los bots ya resolvían las pruebas CAPTCHA con un 15 % más de precisión que los humanos en promedio. Además, los bots completan las pruebas mucho más rápido que los humanos, con la excepción de reCAPTCHA,7 donde los bots son solo 0,5 segundos más rápidos. 

En mayo de 2024, surgió una herramienta para realizar ataques DDoS que, según los desarrolladores, utiliza un "sistema neuronal" para resolver automáticamente los CAPTCHA durante un ataque. Un módulo de IA para el reconocimiento de CAPTCHA podría convertirse en una adición común a los sistemas de ataques DDoS en un futuro cercano.

Prevemos que las pruebas CAPTCHA tradicionales serán cada vez más ineficaces y serán sustituidas paulatinamente por sistemas con análisis de comportamiento y pruebas más avanzadas que incorporen protección contra herramientas de IA. 

Ataques DDoS

Según un informe de Zayo correspondiente al primer semestre de 2024, la cantidad y la duración de los ataques DDoS han aumentado, y los ciberdelincuentes apuntan a una gama más amplia de industrias. Los investigadores asocian estos cambios, en parte, al desarrollo de la IA. 

Las tecnologías de IA tienen un potencial significativo en los ataques DDoS. En el futuro, los ciberdelincuentes podrían usar IA para primero ensamblar y luego administrar una botnet para un ataque. Los atacantes podrían potencialmente analizar la red y luego usar los datos para determinar intervalos de ataque óptimos, cambiar los vectores de ataque en tiempo real y disfrazar sus flujos de solicitud como operación normal del sistema para ocultarlos de los sistemas de seguridad. 

Análisis de datos de escuchas clandestinas en canales laterales

Con la IA, los ciberdelincuentes pueden procesar eficazmente no solo información en lenguaje natural, sino también datos para ataques de canal lateral. Los delincuentes pueden analizar parámetros físicos como el consumo de energía, las emisiones electromagnéticas o el tiempo de cálculo. Con estos datos, podrían, por ejemplo, reconstruir parcial o totalmente claves criptográficas. En los últimos años, se han publicado varios estudios e incluso guías sobre la realización de ataques de canal lateral utilizando herramientas basadas en IA. Un estudio publicado en 2023 demostró que los grandes modelos de lenguaje podrían automatizar el proceso de análisis de canales laterales. 

La IA también puede ayudar en los ataques acústicos de canal lateral. En agosto de 2023, investigadores británicos lograron adivinar una contraseña escrita a partir del sonido de las pulsaciones de teclas en un teclado utilizando un modelo especialmente entrenado. Sin embargo, es importante señalar que los experimentos se llevaron a cabo en condiciones ideales, con el sistema entrenado en un modelo de teclado y de computadora portátil específico, y no sería capaz de robar contraseñas de otros dispositivos.

Los ataques de canal lateral son relativamente poco frecuentes, ya que requieren que el atacante recopile datos físicos. Independientemente de los métodos utilizados, es esencial proteger la información contra filtraciones a través de canales laterales. Para protegerse contra dichas filtraciones, recomendamos utilizar una combinación de soluciones de ingeniería, organización, hardware y software; y cumplir con los requisitos normativos.

Forzamiento de contraseñas

Las herramientas basadas en IA podrían ayudar a los ciberdelincuentes a acelerar el forzamiento de contraseñas e incluso generar bibliotecas de las combinaciones más probables para una empresa o un grupo de personas específicos en función de la información recopilada sobre ellos. Hasta ahora, los métodos de forzamiento de contraseñas existentes basados en el aprendizaje virtual no superan a los métodos clásicos.

Independientemente de los métodos que utilicen los atacantes para realizar ataques de fuerza bruta, las empresas deben establecer una política de contraseñas que exija el cambio inmediato de las contraseñas preestablecidas y evite el uso de combinaciones simples o comunes.

IA versus IA

El desarrollo de las tecnologías de inteligencia artificial y su aplicación generalizada han creado un nuevo campo de investigación en seguridad de la información: la seguridad de la propia IA. Hoy en día, los investigadores conocen varias formas de atacar a la IA, que exploraremos en futuros estudios. 

Por ejemplo, los ciberdelincuentes podrían utilizar la IA para obligar a la IA objetivo a "envenenar" sus datos. En este tipo de ataque, el atacante manipula la base de datos de entrenamiento de tal manera que reduce la eficacia del modelo entrenado o interrumpe el proceso de entrenamiento por completo, lo que hace que el modelo produzca resultados intencionalmente incorrectos. Para ello, los ciberdelincuentes pueden alterar las etiquetas de los objetos, eliminar partes del conjunto de datos o modificar los datos añadiendo ruido a las imágenes o incrustando marcas de agua que son imperceptibles para el ojo humano. Todas estas tareas requieren el procesamiento de grandes conjuntos de datos y, en última instancia, pueden delegarse en herramientas de IA. 

Para evaluar el potencial real de la IA en los ciberataques, analizamos la matriz de MITRE ATT&CK. 

Creamos un mapa de calor y evaluamos qué tan pronto los ciberdelincuentes podrían aplicar la IA para cumplir con las tareas de cada táctica, técnica y subtécnica. Según nuestro análisis, el potencial de uso de la IA en los ciberataques es enorme, con posibles aplicaciones en el 100 % de las tácticas de MITRE ATT&CK y en más de la mitad de las técnicas (59 %). 

Descargar Matriz de calor de MITRE ATT&CK.

Clasificamos todas las técnicas y subtécnicas en cinco niveles según el cronograma proyectado para la integración de la IA.

Guinda: casos prácticos conocidos. Esta categoría más pequeña (5 %) contiene aquellas técnicas en las que los ciberdelincuentes ya han utilizado la IA, incluidas las que se utilizan habitualmente en ataques reales. Examinemos algunos ejemplos de técnicas utilizadas activamente por los grupos APT en ataques a las industrias de la CEI. En ocho de cada diez ataques (79 %), los ciberdelincuentes utilizaron varios tipos de malware, y los grupos APT no solo emplearon herramientas ya preparadas, sino que también desarrollaron las suyas propias (subtécnica T1587.001: Desarrollar capacidades: Malware). Los atacantes altamente capacitados ya han comenzado a incorporar la IA en el desarrollo de malware para la generación de scripts, la prueba de código y la depuración. La técnica más común para obtener acceso inicial (63 % de todos los ataques al sector industrial) es T1566: Phishing, que es uno de los ejemplos más llamativos de aplicación de la IA generativa. Los ciberdelincuentes no solo pueden generar correos electrónicos con IA, sino también mantener correspondencia significativa con la víctima. 

Prevemos que los métodos de aplicación de la IA ya probados por los ciberdelincuentes seguirán evolucionando y se volverán más comunes en futuros ataques. 

Rojo: puede usarse en un futuro cercano. En la categoría Rojo (17 %), se encuentran técnicas en las que ya se ha demostrado que la IA es aplicable, se han publicado estudios de respaldo y existen pruebas de concepto. Podemos suponer que los ciberdelincuentes pronto intentarán introducir la IA en estos pasos de ataque. El ejemplo más destacado en la categoría Rojo es la técnica T1027: Archivos o información ofuscados. Los investigadores de seguridad ya han demostrado que la IA puede modificar el código malicioso para eludir las medidas de seguridad. Los atacantes que apuntan al sector industrial en los países de la CEI utilizan esta técnica, ofuscando, codificando y cifrando el código malicioso para ocultar la actividad. De manera similar, los investigadores han demostrado repetidamente el potencial de la aplicación de la IA en la explotación de vulnerabilidades. La técnica T1190: Explotar la aplicación pública es popular entre los ciberdelincuentes y se utilizó en el 27 % de los ataques al sector industrial de la CEI. 

Los ciberdelincuentes no perderán la oportunidad de automatizar y evolucionar sus acciones. Anticipamos que los atacantes al menos intentarán integrar la IA en las técnicas de la categoría Naranja. 

Naranja: puede usarse en un futuro no muy lejano, después de superar algunos desafíos. En una de cada cinco técnicas (20 %), los ciberdelincuentes deberán abordar problemas importantes antes de integrar la IA. La táctica TA0007: Descubrimiento abarca métodos a través de los cuales los atacantes pueden explorar el sistema objetivo antes de decidir sobre acciones futuras; se utilizan varias técnicas de descubrimiento en ataques sofisticados en todas las industrias. En el caso de la táctica de descubrimiento, la IA podría manejar tareas de recopilación y procesamiento de grandes cantidades de información dentro de los sistemas. El análisis y la comparación automatizados de datos de múltiples fuentes, la predicción de elementos faltantes, y la generación de un informe listo para usar con recomendaciones para los próximos pasos podrían ayudar significativamente a los ciberdelincuentes. Antes de obtener esta funcionalidad, los atacantes no solo deben entrenar estas herramientas, sino también integrarlas en su malware.

A pesar de los desafíos, los ciberdelincuentes seguirán desarrollando herramientas de ataque, integrando cada vez más tecnologías de IA en ellas. Sin embargo, este proceso podría llevar mucho tiempo, ya que los atacantes se centran principalmente en sacar provecho de los ataques en lugar de mejorar las habilidades y desarrollar herramientas más sofisticadas. Mientras los métodos de ataque clásicos sigan dando resultados, la mayoría de los ciberdelincuentes no se molestarán en invertir tiempo y dinero en la implementación de la IA.

Amarillo: teóricamente factible, pero prácticamente inalcanzable en el futuro previsible. La categoría Amarillo contiene técnicas (17 %) en las que potencialmente se podría implementar la IA, pero esto es actualmente inalcanzable en el contexto de los ciberataques. Un claro ejemplo: el análisis del comportamiento de los sistemas y usuarios objetivo podría permitir a los ciberdelincuentes disfrazar eficazmente acciones maliciosas como una actividad normal y legítima. Implementar el análisis del comportamiento es un desafío actual incluso para los sistemas de seguridad, mientras que integrar tales funciones en una herramienta de ataque es prácticamente imposible hoy en día.

Es importante señalar que las tecnologías de IA están en constante evolución. Los investigadores están haciendo varias predicciones sobre el cronograma del desarrollo de la IA y las nuevas oportunidades que se abrirán. Con cualquier avance significativo en las tecnologías de IA, los ciberdelincuentes sin duda intentarán hacer que sus ataques sean más complejos, automatizados y escalables. 

Gris: el uso de IA no está justificado o no proporcionaría beneficios significativos. Si bien las tecnologías de IA se pueden utilizar en ciberataques de diversas maneras, hay muchos tipos de ataques en los que la IA es innecesaria. Por ejemplo, la técnica T1200: Adiciones de hardware implica la implantación de módulos de hardware con funcionalidad oculta en el sistema objetivo. Los ataques con este vector de penetración son poco frecuentes y no implican tareas que puedan delegarse en la IA. 

Curiosamente, en marzo de 2024, se añadió la subtécnica T1588.007: Obtener capacidades: Inteligencia artificial a la matriz de MITRE ATT&CK, que describe cómo un ciberdelincuente obtiene acceso a herramientas de IA generativas para recopilar información y utilizarla en diversas actividades delictivas. La inclusión de esta subtécnica en la matriz subraya la importancia de adoptar una nueva comprensión básica del mundo de la ciberseguridad: los ciberdelincuentes están empleando IA en sus ataques. Es fundamental recordar que la IA es solo una de las herramientas en manos de los atacantes, cuyo objetivo es hacer que sus ataques sean más complejos, automatizados y escalables. Potencialmente, al utilizar IA, un ciberdelincuente podría crear una cadena de ataque completa. A finales de 2022, los investigadores de Check Point demostraron esto utilizando ChatGPT y OpenAI Codex8 para generar múltiples etapas de ataque: un correo electrónico de phishing, un código VBA malicioso y un shell inverso. Sin embargo, la aplicación de la IA en ataques en el mundo real actualmente se limita a pasos y etapas individuales, como la recopilación de información sobre el objetivo, la explotación de vulnerabilidades conocidas, la obtención de acceso inicial a través de ingeniería social y la generación de fragmentos de código malicioso. 

El desarrollo y la difusión de las tecnologías, el uso del aprendizaje virtual en la seguridad de la información, y la complejidad y la tensión del ciberpaisaje global pueden conducir no solo a un aumento del uso de la IA en los ciberataques, sino también a una expansión de la superficie de ataque.

Más especialistas, más ciberdelincuentes

En 2024, la escasez de especialistas en IA sigue siendo un problema acuciante en todo el mundo. Para abordarlo, las universidades y las empresas tecnológicas están creando programas educativos, lanzando cursos y organizando sesiones de capacitación. 

Prevemos que la disponibilidad de programas de formación en el ámbito de la IA satisfará gradualmente esta demanda de especialistas. Sin embargo, algunos de estos individuos podrían explotar la tecnología con fines delictivos; entre los estudiantes, también puede haber atacantes que quieran mejorar sus habilidades. Por lo tanto, a medida que avance la educación en el campo de la IA, también lo hará el nivel de competencia de los ciberdelincuentes. En cualquier caso, el aumento del número de especialistas en IA contribuirá al progreso general y a la difusión de la tecnología. 

El lado oscuro del progreso

Las tecnologías de IA evolucionan constantemente, surgen nuevos LLM, y el aprendizaje virtual se aplica en todas partes, desde los procesos técnicos hasta las operaciones diarias de los usuarios. Los investigadores legítimos no son los únicos que exploran estas nuevas capacidades. Los delincuentes también vigilan de cerca su progreso, con el objetivo no solo de aprovechar las nuevas funciones, sino también de modificarlas para sus propios fines. 

El lanzamiento de un nuevo modelo de lenguaje grande con protecciones insuficientes contra la generación de texto, código o instrucciones maliciosos podría provocar un aumento en la actividad cibercriminal. Ya mencionamos que, en el año posterior al lanzamiento de ChatGPT-4, los ataques de phishing aumentaron un 1265 %, y esperamos que ocurran eventos similares a medida que surjan nuevas herramientas de IA. 

La necesidad de datos de entrenamiento de alta calidad (especialmente relevantes para la seguridad de la información) y las altas demandas de recursos computacionales siguen siendo desafíos importantes para cualquier desarrollo de IA. Muchos investigadores y empresas se esfuerzan por crear tecnologías que faciliten, abaraten y aceleren la creación de herramientas de IA. Si dichas tecnologías caen en manos equivocadas, habrá un aumento de los ataques: los ciberdelincuentes experimentados podrán implementar sus proyectos más rápido y reducirán la barrera para que los atacantes con menos recursos y conocimientos utilicen la IA. 

Otro factor que contribuye al aumento de los ataques es la integración de la IA en el software disponible públicamente. En primer lugar, esto empuja a los atacantes a comprender mejor las tecnologías de IA para mantenerse al día con los sistemas a los que apuntan. En segundo lugar, amplía la superficie de ataque al introducir un módulo adicional para una posible explotación. Un ejemplo de esto es el infame gusano que explota la IA Morris II. Investigadores de los Estados Unidos e Israel publicaron un estudio que demuestra un nuevo tipo de amenaza para la IA generativa: el gusano Morris II es esencialmente una solicitud maliciosa y autorreplicante que tiene como objetivo la infraestructura de los asistentes de correo electrónico impulsados por IA generativa. El gusano explota tanto el mecanismo RAG9 mediante una base de datos que se actualiza al recibir correos electrónicos como la IA generativa. El malware infecta la base de datos RAG y obliga al asistente a enviar la solicitud infectada a otros asistentes, lo que propaga el gusano entre los nodos de correo. Anticipamos que, a medida que los agentes de IA integrados en las aplicaciones se generalicen, los ataques a ellos aumentarán, y no solo en condiciones de laboratorio. 

Herramientas ofensivas

Los ciberdelincuentes no solo esperan una herramienta de IA legal que puedan explotar; están intentando crear sus propias variantes de software ofensivo. Actualmente, el desarrollo y el entrenamiento de la IA requieren considerables recursos y experiencia tanto en IA como en seguridad de la información. Por lo tanto, los ciberdelincuentes podrían obtener una herramienta de hackeo de IA de las siguientes formas:

1. Los grupos APT la desarrollan con éxito. Crean y utilizan sus propias herramientas ofensivas, y poseen los recursos y las habilidades para llevar a cabo un proyecto de este tipo. Un grupo APT que desarrolla una herramienta de este tipo no solo puede comenzar a utilizarla en sus operaciones, sino que también puede distribuirla bajo el modelo AIMaaS (malware de inteligencia artificial como servicio).
2. Se filtra una herramienta de prueba de seguridad. Esto daría lugar a un aumento del tipo de ataque que la herramienta estaba destinada a probar. 
3. Un Gobierno decide difundir una herramienta de IA ofensiva y se la entrega a los delincuentes comunes. Por ejemplo, este tipo de software podría distribuirse para apoyar una campaña de hacktivismo dirigida a otro país. 

En cualquiera de estos escenarios, los ciberdelincuentes comunes tendrían la oportunidad de utilizar una herramienta de IA ofensiva diseñada profesionalmente. Además, si estas herramientas cayeran en manos de delincuentes, ellos podrían estudiar la tecnología subyacente, lo que catalizaría aún más la creación de nuevas variantes maliciosas. 

Fugas de datos de ataques etiquetados

Uno de los principales desafíos en la creación de una herramienta de IA es la dificultad de recopilar un conjunto de datos de entrenamiento de alta calidad. En seguridad de la información, este problema afecta tanto a los ciberdelincuentes como a los desarrolladores de sistemas de seguridad. 

Una posible fuga de datos etiquetados de un proveedor de seguridad de la información podría ayudar significativamente a los atacantes. Por ejemplo, un conjunto de datos de entrenamiento filtrado de una herramienta de IA utilizada para pruebas de penetración podría permitir a los ciberdelincuentes crear su propia versión. Además, una fuga de datos etiquetados para un piloto automático de seguridad no solo podría ayudar a las herramientas ofensivas impulsadas por IA a evadir las medidas de seguridad, sino también a automatizar las etapas individuales del ataque y combinarlas en una sola cadena, desde la recopilación de información hasta la ejecución de un evento inadmisible.

Creemos que los ciberdelincuentes realizarán gradualmente más ataques dirigidos a investigadores de inteligencia artificial y de seguridad de la información. Cubrimos una de esas operaciones en nuestro estudio de las ciberamenazas actuales en el segundo trimestre de 2024. En ella, los atacantes buscaron obtener información no pública relacionada con la inteligencia artificial generativa. 

Piloto automático de defensa versus piloto automático de ataque

La inteligencia artificial tiene un potencial significativo no solo para la ofensiva, sino también para la defensa. En respuesta a la creciente actividad de los atacantes, están surgiendo nuevos pilotos automáticos de defensa como MaxPatrol O2 capaces de detectar y bloquear automáticamente la actividad dentro de la infraestructura. A medida que aumenta el nivel de seguridad, es probable que disminuya la tasa de éxito de los ataques individuales, lo que obliga a los delincuentes a adaptar sus ataques. Pueden maximizar la automatización para aumentar la cantidad de ataques y apuntar simultáneamente a numerosas víctimas, o pueden complicar y adaptar cada ataque al sistema objetivo específico. En ambos enfoques, los atacantes intentarán aprovechar la inteligencia artificial. 

Vulnerabilidad de las regiones en desarrollo

En estudios anteriores, hemos analizado las características únicas del panorama cibernético en las regiones en desarrollo. Los ciberdelincuentes se sienten atraídos por el rápido crecimiento económico acompañado de problemas de ciberseguridad no resueltos, como protecciones de hardware y software insuficientes, poca concienciación de los usuarios, y una legislación de ciberseguridad prematura. En estas regiones, los ciberdelincuentes pueden emplear con éxito métodos de ataque más simples o incluso obsoletos, como la explotación de vulnerabilidades básicas conocidas desde hace mucho tiempo. En 2022-2023, la explotación de vulnerabilidades se utilizó en el 37 %, 39 % y 44 % de los ataques a organizaciones africanas, asiáticas y de Oriente Medio, respectivamente. Creemos que las herramientas ofensivas existentes impulsadas por IA imperfectas se pueden aplicar de manera eficaz y a gran escala en las regiones en desarrollo. Si los atacantes ven ganancias en estos ciberataques, podríamos ser testigos de un aumento masivo en el uso malicioso de la IA.

Para tener una visión completa, también debemos considerar las condiciones que pueden frenar la aparición de nuevos ataques basados en IA o incluso limitar las aplicaciones existentes. 

Resultados débiles

Si los atacantes altamente capacitados no logran obtener resultados significativos con la IA, es posible que abandonen la inversión en ella. Los ciberdelincuentes novatos y promedio carecen de los conocimientos, los recursos y la capacidad para crear nuevas herramientas o desarrollar nuevos tipos de ataques. Si los miembros más experimentados de la comunidad criminal dejan de desarrollar nuevas tecnologías, el uso de la IA en los ciberataques se mantendrá dentro de los límites existentes. 

Un claro ejemplo son los modelos GPT maliciosos. En el verano de 2023, WormGPT ganó popularidad como herramienta para generar código malicioso, escribir correos electrónicos de phishing y ayudar a los ciberdelincuentes. Sin embargo, su eficacia sigue siendo cuestionable: los comentarios de los usuarios en los foros de la web oscura indican que la herramienta logró generar mensajes de phishing, pero falló con un código malicioso. El amplio público objetivo del proyecto, compuesto por ciberdelincuentes inexpertos, y su cierre abrupto en agosto de 2023 también podrían sugerir su intención inicialmente fraudulenta: una forma para que los círculos criminales se exploten entre sí. 

Además de WormGPT, los ciberdelincuentes están distribuyendo otros LLM maliciosos. A menudo, se comercializan como si estuvieran específicamente entrenados para ciberataques, pero muchas de estas ofertas resultan ser estafas o simplemente modelos legales con jailbreaks automatizados integrados. Estos modelos se distribuyen a través de un esquema de "jailbreak como servicio" y pueden responder ciertas preguntas que violan los requisitos de seguridad de los LLM legales, pero no son herramientas genuinamente entrenadas para realizar ciberataques.

Ya existe una decepción general sobre la eficacia de la IA entre los expertos en ciberseguridad. La encuesta SOC 2024 de SANS indicó una disminución en la satisfacción con la tecnología de IA. Tendencias similares en el lado atacante podrían llevar a una especie de estancamiento, que persistiría hasta que los avances tecnológicos permitieran a los ciberdelincuentes lograr un avance sustancial. 

Presión legal

Un factor que impacta a toda la industria de la IA podría ser las numerosas demandas presentadas en su contra. Escritores, artistas, intérpretes, sellos discográficos, medios de comunicación, desarrolladores y particulares han acusado tanto a los principales desarrolladores de LLM como a las empresa emergente de entrenar modelos en contenido protegido por derechos de autor y datos confidenciales. 

Si los tribunales comienzan a fallar a favor de estas demandas, podría exacerbar uno de los desafíos más difíciles en la tecnología de IA: la adquisición de datos de entrenamiento. Las empresas tendrían que cambiar su enfoque para construir bases de datos de entrenamiento, lo que ralentizaría el desarrollo de nuevos modelos y herramientas, y por lo tanto, el progreso de toda la industria. Esto también afectaría a los ciberdelincuentes que buscan adaptar y explotar herramientas y tecnologías legales con fines ilícitos. 

La IA es una de las tecnologías más importantes de los últimos años. Los grandes modelos de lenguaje y otras herramientas de IA pueden abordar de manera efectiva una variedad de tareas, pero su uso adecuado requiere habilidades especializadas. 

Las herramientas de IA existentes pueden ayudar a los ciberdelincuentes novatos a aprender métodos de ataque básicos para las primeras etapas de los ciberataques. Con la IA, se pueden automatizar etapas individuales de los ciberataques, como la creación de fragmentos de código malicioso, la generación de mensajes de phishing y la gestión de botnets. El desarrollo de herramientas de IA ha llevado a la aparición de ataques que involucran deepfakes. Solo los delincuentes experimentados podrán desarrollar y crear nuevas herramientas de IA para automatizar y escalar los ciberataques, y en un futuro cercano, anticipamos la aparición de módulos maliciosos dedicados a abordar tareas específicas dentro de escenarios de ataque ya conocidos.

Los ciberdelincuentes utilizarán tecnologías de IA junto con una multitud de otras herramientas. Prevemos un aumento en los ataques de phishing y deepfake generados, ya que estos ya han demostrado ser efectivos para atacar a individuos y organizaciones, y para difundir diversas formas de desinformación. Para garantizar la ciberseguridad personal y corporativa, recomendamos seguir las pautas generales. Las empresas deben prestar especial atención a los procesos de gestión de vulnerabilidades y participar en programas bug bounty. Es esencial parchear rápidamente las vulnerabilidades descubiertas, especialmente aquellas con exploits disponibles públicamente. Estas medidas son necesarias en cualquier caso, pero automatizar la explotación de vulnerabilidades mediante el aprendizaje automático permitirá a los ciberdelincuentes atacar a las organizaciones con mayor rapidez y frecuencia. 

No sirve de nada entrar en pánico por el potencial de la IA en los ciberataques. Debemos ver el futuro de manera realista, en primer lugar, estudiando las capacidades de las nuevas tecnologías y construyendo sistemáticamente una ciberseguridad impulsada por los resultados. Los ciberdelincuentes seguirán integrando la IA en sus ataques, y quienes se ocupan de la defensa deben desarrollar medidas de seguridad de manera proactiva sin esperar a que los atacantes produzcan resultados. Cuando se enfrenta a una IA ofensiva, la contramedida lógica es una IA defensiva más poderosa, capaz de detectar y frustrar los ataques en modo piloto automático. 

Este informe contiene información sobre amenazas globales actuales a la ciberseguridad basada en la propia experiencia, investigaciones y fuentes acreditadas de Positive Technologies.

Estimamos que la mayoría de los ciberataques no se hacen públicos debido a los riesgos que esto supone para la reputación. Como consecuencia, incluso las empresas especializadas en la investigación de incidentes y en el análisis de la actividad de los grupos de hackers no pueden calcular la cantidad exacta de amenazas. Nuestra investigación busca llamar la atención de las empresas y las personas comunes que se preocupan por el estado actual de la seguridad de la información sobre los métodos y motivos más relevantes de los ciberataques que involucran inteligencia artificial. 

Este informe considera cada ataque masivo (por ejemplo, correos electrónicos de phishing enviados a múltiples direcciones) como un ataque único en lugar de múltiples incidentes separados. Para obtener explicaciones sobre los términos utilizados en este informe, consulte el glosario de Positive Technologies.