Fiabilidad

PoisonGPT, WormGPT y la ciberseguridad en la IA Generativa

Resumen

La publicación de LLM maliciosos como PoisonGPT y WormGPT demuestran cómo puede utilizarse la IA generativa para cometer ciberdelitos, como parte de una creciente economía sumergida.

Puede que los ciberataques impulsados por la IA no sean una preocupación nueva, pero el crecimiento en la adopción de la IA generativa ha hecho que los ciberataques autónomos sean más accesibles que nunca.

Mientras que en noviembre de 2022, el riesgo de que se utilizaran grandes modelos de lenguaje (LLM) como ChatGPT para crear correos electrónicos de phishing o códigos maliciosos era en gran medida teórico, hoy en día, los modelos de lenguaje convertidos en armas como PoisonGPT y WormGPT están disponibles abiertamente para su compra en la web oscura.

Ahora, cualquiera puede pagar una suscripción a un LLM malicioso y empezar a generar correos electrónicos de phishing a escala para dirigirse a organizaciones.

A medida que aumenta la ansiedad por los riesgos de seguridad de la IA generativa, las organizaciones deben estar preparadas para afrontar un repunte significativo de las estafas automatizadas de ingeniería social.

Por qué los clones de ChatGPT han cambiado el juego

A principios de este año, Darktrace observó un aumento del 135% en los nuevos ataques de ingeniería social, que coincidió con el lanzamiento de ChatGPT. Este estudio fue uno de los primeros que indicó un repunte de los correos electrónicos de phishing generados por IA.

Sin embargo, la publicación de WormGPT y PoisonGPT en julio pone de relieve la siguiente fase de la IA armada: la propagación de clones maliciosos inspirados en ChatGPT.

Estas herramientas están creadas a propósito para desarrollar estafas y no cuentan con las “restrictivas” políticas de moderación de contenidos de las versiones legítimas o jailbroken de los chatbots de IA generativa, que necesitarían ser jailbroken para ser utilizados de forma dañina.

Kevin Curran, miembro senior del IEEE y profesor de ciberseguridad, declaró a Techopedia:

“Que los ciberdelincuentes lancen ataques de phishing no es nada nuevo, pero WormGPT y FraudGPT, ambos grandes modelos de lenguaje (LLM) que pretenden sortear las restricciones de los LLM “normales”, sin duda van a facilitarles la tarea”.

Una forma en que estos LLM oscuros ayudan a los ciberdelincuentes es permitiendo a los hablantes no nativos de inglés crear estafas bien escritas y convincentes, con un mínimo de errores gramaticales. Esto significa que hay más riesgo de que los usuarios hagan clic en ellos.

Por ejemplo, WormGPT, basado en el LLM de código abierto GPT-J, ha sido entrenado específicamente con datos de entrenamiento relacionados con el malware, lo que le da la capacidad de crear instantáneamente correos electrónicos fraudulentos en varios idiomas, que pueden eludir el filtro de spam de la víctima.

Esta solución de IA generativa facilita a los hackers la generación de estafas a escala, al tiempo que dificulta su detección por parte de los usuarios.

IA Generativa: ¿Cuál es el daño?

El Dr. Niklas Hellemann, psicólogo y director general del proveedor de formación en concienciación sobre seguridad SoSafe, sugiere que los correos maliciosos generados por IA, como los generados a través de WormGPT y FraudGPT, pueden ser más eficaces para engañar a los usuarios que los escritos por humanos.

“Los últimos estudios de nuestro equipo de ingeniería social han demostrado que los correos electrónicos de phishing generados por IA pueden crearse al menos un 40% más rápido, mientras que las tasas de clics e interacción aumentan constantemente en comparación con el phishing generado por humanos; de hecho, las tasas de interacción con correos electrónicos generados por IA (65%) han superado ya a las de los correos electrónicos generados por humanos (60%).”

“El aumento de la personalización a través de la IA significa que, incluso utilizando una información muy mínima disponible públicamente, los ataques de spear-phishing tienen una tasa de éxito masivamente mayor”, añadió Hellemann.

Aunque otros estudios han llegado a la conclusión de que los correos electrónicos de phishing generados por IA son menos eficaces que los redactados por humanos, si los hackers perciben los LLM armados como herramientas eficaces para piratear organizaciones, existe la posibilidad de que surjan más de estas soluciones.

Al igual que el éxito y la rentabilidad de los ataques de ransomware condujeron al desarrollo de una próspera economía del ransomware como servicio (RaaS), con ciberbandas que venden cargas útiles de ransomware preconstruidas, los defensores tienen que estar preparados para hacer frente a la próxima generación de ciberataques automatizados si aumenta la demanda de LLM oscuros.

Doblando concienciación de los empleados

Los correos electrónicos de phishing son el principal vector de amenaza creado por los LLM y la IA generativa. Estos correos electrónicos fraudulentos se basan en la explotación del error humano para engañar a la víctima y hacer que descargue un archivo adjunto malicioso o visite un sitio web de phishing donde se pueden recoger sus credenciales de inicio de sesión.

En consecuencia, las organizaciones deben redoblar la inversión en el factor humano de la ciberseguridad. Eso significa invertir en formación de concienciación sobre seguridad para los empleados, de modo que tengan los conocimientos y la experiencia necesarios para detectar los correos electrónicos de phishing cuando se topen con ellos.

Esto va más allá de pequeños y digeribles cursos de aprendizaje electrónico, sino que también debería incluir simulaciones de phishing en vivo en las que se envíen a los empleados falsos correos electrónicos de phishing para evaluar su eficacia a la hora de identificar contenido malicioso.

Dicho esto, es importante reconocer que, aunque el error humano puede reducirse, no puede eliminarse por completo. Por eso es buena idea incorporar otras buenas prácticas de ciberseguridad, como implantar herramientas de gestión de identidades y accesos (IAM) para aplicar la autenticación multifactor a las cuentas de usuario como capa adicional de seguridad.

Asimismo, las cuentas de alto valor con acceso a credenciales y secretos también pueden protegerse con la gestión de acceso privilegiado (PAM), supervisando las cuentas privilegiadas y revocando el acceso si se detecta actividad anómala.

Haz que los riesgos sean manejables con proactividad

Aunque la introducción de los LLM armados en la economía sumergida introduce nuevos riesgos para las empresas, las organizaciones pueden reducir su exposición siendo proactivas e invirtiendo en proporcionar a los empleados las habilidades que necesitan para identificar incluso los correos electrónicos de estafa mejor escritos.

Temas relacionados

Tim Keary
Editor

Desde enero de 2017, Tim Keary ha sido un escritor y reportero de tecnología independiente que cubre tecnología empresarial y ciberseguridad.