ChatGPT-40 es el último modelo de inteligencia artificial y chatbot avanzado de LLM introducido por OpenAI que aporta nuevas mejoras, como la integración de entradas y salidas de texto, voz y visión.
Gracias a estas propiedades OpenAI ha integrado varias salvaguardas para detectar y bloquear contenidos dañiños, como replicar voces no autorizadas.
Sin embargo, dos investigadores de la UIUC han demostrado que es posible abusar de la API (interfaz de programación de aplicaciones) de voz en tiempo real de OpenAI para ChatGPT-40 para llevar a cabo estafas financieras. No obstante, estas suelen tener tasas de éxito bajas a moderadas.
Los autores de la investigación, Richard Fang, Dylan Bowman y Daniel Kang, han descubierto que estas nuevas herramientas que se encuentran disponibles sin restricciones no cuentan con suficientes salvaguardas para protegerse contra posibles abusos por partes de estafadores y ciberdelincuentes.
El artículo cita varias estafas, como transferencias bancarias, exfiltración de tarjetas regalo, transferencias de criptomonedas y robo de credenciales para cuentas de Gmail o redes sociales.
Los agentes de IA que se encargan de hacer las estafas se sirven de herramientas de automatización del LLM para navegar por las webs, ingresar datos y administrar códigos de autenticación de dos factores e instrucciones específicas relacionadas con las estafas.
"Desplegamos a nuestros agentes en un subconjunto de estafas comunes. Simulamos estafas interactuando manualmente con el agente de voz, desempeñando el papel de una víctima crédula", explicó Kang en una publicación de blog sobre la investigación.
"Para determinar el éxito, confirmamos manualmente si el estado final se alcanzó en aplicaciones/sitios web reales. Por ejemplo, usamos Bank of America para estafas de transferencias bancarias y confirmamos que el dinero realmente se transfirió. Sin embargo, no medimos la capacidad de persuasión de estos agentes", añadieron. Los investigadores efectuaron varias técnicas simples de jailbreak rápido para eludir las protecciones.
Las tasas de éxito oscilaron entre el 20% y el 60% y cada intento requirió hasta 26 acciones del navegador y duró hasta 3 minutos en los escenarios más complejos.
La acción que mejor resultó fue el robo de credenciales de Gmail, que funcionó en el 60% de los casos. Por su parte, las transferencias de criptomonedas y el robo de credenciales de Instagram solo tuvieron éxito el 40% de las veces.
Lo más preocupante de todo sería el 'precio' tan barato que tendrían estas estafas, ya que cada caso exitoso saldría por solo 0,75 dólares.