¿Cómo es la relación de los ciberdelincuentes y la inteligencia artificial generativa? La empresa de ciberseguridad Sophos ha realizado dos nuevas investigaciones sobre el tema, para conocer el comportamiento criminal y adelantarse a futuras amenazas.
Por un lado, analiza el uso actual que le dan los hackers a estas nuevas tecnologías, de cada vez más fácil acceso. Y por otro, indaga en la dark web para conocer las opiniones que aparecen en los foros, y sorprende: ellos también desconfían.
Es cierto que, a día de hoy, los ciberdelincuentes ya utilizan las herramientas de IA, pero aun lo hacen para automatizar tareas sencillas, como la creación de imágenes y textos basados en ChatGPT, Dall-E, Bard, Jasper, etc., para atraer a sus víctimas con técnicas de ingeniería social.
Así, el uso de las herramientas basadas en IA se encuentra todavía en sus etapas iniciales en el ámbito de la ciberdelincuencia.
El lado oscuro de la IA
Hasta ahora crear una tienda web falsa para realizar estafas requería un alto nivel de experiencia, que a menudo implicaba codificación sofisticada y una comprensión profunda de la psicología humana. Sin embargo, la llegada de los modelos de lenguajes grandes (LLM) ha reducido significativamente las barreras de entrada.
El equipo de IA de Sophos llevó a cabo un experimento para indagar en el posible uso indebido de tecnologías avanzadas de IA generativa para orquestar campañas fraudulentas a gran escala. Y demostró que la fusión de tecnologías de inteligencia artificial lleva las estafas a un nuevo nivel.
A través de una sencilla plantilla de comercio electrónico y herramientas LLM como GTP 4, los investigadores han creado una página web totalmente funcional con imágenes, audio y descripciones de productos generados por IA, un inicio de sesión falso en Facebook y una página de pago fraudulenta para robar las credenciales de inicio de sesión y los datos de la tarjeta de crédito de los usuarios.
La web requería unos conocimientos técnicos mínimos para su creación y funcionamiento y, utilizando la misma herramienta, los expertos de Sophos han sido capaces de crear cientos de portales web similares en cuestión de minutos con un solo botón.
“Si existe una tecnología de IA que pueda crear amenazas completas y automatizadas, se acabarán utilizando. Ya hemos visto la integración de elementos de IA generativa en estafas clásicas, como textos o fotografías generados por IA para atraer a las víctimas. La razón por la que realizamos esta investigación fue adelantarnos a los delincuentes. Al crear un sistema de generación de páginas web fraudulentas a gran escala, que es más avanzado que las herramientas que los delincuentes utilizan actualmente, tenemos una oportunidad única para analizar y prepararnos para la amenaza antes de que prolifere”, explica Ben Gelman, científico de datos de Sophos.
Por ello, desde esta compañía están desarrollando un modelo propio de IA copiloto de seguridad, diseñado para identificar este nuevo tipo de amenaza y automatizar las operaciones de ciberseguridad.
Los ciberdelincuentes no pueden ponerse de acuerdo sobre los GPT
El segundo estudio realizado por Sophos investigó las discusiones y opiniones relacionadas con LLM en una selección de foros criminales, para comprender mejor la situación actual y explorar lo que los propios actores de amenazas realmente piensan sobre las oportunidades que plantean.
Para eso, revisaron cuatro foros y mercados destacados de la dark web, analizando específicamente para qué utilizan los actores de amenazas los LLM.
Uno de los hallazgos más llamativos fue que, en general, hay mucho escepticismo sobre herramientas como ChatGPT, con argumentos como que está sobrevalorado, es redundante e inadecuado para generar malware.
A su vez, los debates demuestran que los actores de amenazas también tienen preocupaciones específicas de delitos cibernéticos sobre el código generado por LLM. Otra inquietud que han encontrado los expertos de Sophos es que estas herramientas pongan en riesgo el anonimato de los hackers.
En cuanto a quienes más utilizan GPT para generar malware, los expertos confirmaron que son los 'script kiddies', los delincuentes más improvisados o no cualificados, quienes a menudo no pueden eludir las restricciones de aviso o comprender los errores en el código resultante.
Por otro lado, la mayoría de los posts en los foros hablaban sobre la venta de cuentas falsas de ChatGPT y jailbreaks (métodos para eludir la protección interna de los LLM), para que los cibercriminales pudieran utilizarlos con fines maliciosos.
También aparecieron múltiples derivados de GPT que afirman ofrecer capacidades similares a WormGPT y FraudGPT, incluidos EvilGPT, DarkGPT, PentesterGPT y XXXGPT.
Sin embargo, los cibercriminales manifestaron posturas encontradas ante esta creación y otras aplicaciones maliciosas de los LLM. Muchos ciberdelincuentes expresaron su preocupación de que los creadores de las imitaciones de ChatGPT estuvieran tratando de estafarlos.
“Hasta ahora, los cibercriminales son más escépticos que entusiastas. En dos de los cuatro foros de la dark web que examinamos, solo encontramos 100 mensajes sobre IA. En comparación con la criptomoneda, donde encontramos 1.000 mensajes en el mismo periodo”, grafica Christopher Budd, director de investigación de X-Ops de Sophos.
El estudio también reveló que algunos atacantes intentaban crear malware o herramientas de ataque utilizando LLM, pero los resultados eran rudimentarios y a menudo se encontraban con el escepticismo de otros usuarios. Hasta sucedió que un ciberdelincuente terminó revelando su identidad real, de forma no intencional, ansioso por mostrar el potencial de ChatGPT.
“Encontramos muchas ‘tribunas de opinión’ sobre los posibles efectos negativos de la IA en la sociedad y las implicaciones éticas de su uso. En otras palabras, al menos por ahora, parece que los ciberdelincuentes mantienen los mismos debates sobre la IA que el resto del mundo”, concluye Budd.