ChatGPT en peligro: el último ciberataque de alucinación por paquetes de IA

Resumen

ChatGPT es vulnerable a un nuevo ciberataque llamado "AI Package Hallucination". Los hackers pueden explotar el chatbot recomendando bibliotecas de código inexistentes, lo que les permite distribuir paquetes maliciosos. Los desarrolladores deben actuar con cautela, evitar descargar código de fuentes no fiables y evaluar a fondo los detalles de los paquetes para evitar la inclusión involuntaria de código dañino en sus proyectos.

ChatGPT corre el riesgo de sufrir un nuevo ciberataque. Según una investigación reciente llevada a cabo por Vulcan Cyber, los hackers pueden explotar el chatbot para difundir paquetes maliciosos dentro del grupo de desarrolladores. Este ataque, conocido como “AI Package Hallucination”, implica la creación de URL engañosas, referencias o bibliotecas de código y funciones completas que en realidad no existen.

Utilizando esta nueva técnica, los ciberdelincuentes tienen la capacidad de sustituir paquetes no publicados por sus propios homólogos maliciosos. Esto permite a los atacantes llevar a cabo ataques a la cadena de suministro, incorporando bibliotecas malévolas en sistemas de almacenamiento conocidos.

Profundicemos en este asunto para comprender plenamente la gravedad de la situación.

¿Qué es ChatGPT?

ChatGPT es un chatbot de IA generativa que utiliza el método de procesamiento del lenguaje natural (PLN) para crear un diálogo conversacional similar al humano. El modelo lingüístico puede responder a preguntas y ayudar a los usuarios con diversas tareas, como escribir ensayos, componer canciones, crear publicaciones en redes sociales y desarrollar códigos.

¿Qué es AI Package Hallucination?

“AI Package Hallucination” es el último y uno de los ataques informáticos más críticos y mortales a los que ChatGPt se ha enfrentado hasta la fecha. Mediante esta técnica, los ciberdelincuentes pueden transferir paquetes maliciosos directamente al equipo del desarrollador.

Recientemente, los investigadores de Vulcan Cyber han identificado una tendencia preocupante. Este vector de ataque implica la manipulación de URL web, referencias y bibliotecas de código y funciones completas que simplemente no existen.

El análisis de Vulcan ha revelado que esta anomalía puede atribuirse a la utilización de datos de entrenamiento obsoletos en ChatGPT, lo que resulta en la recomendación de bibliotecas de código inexistentes.

Los investigadores han emitido una advertencia sobre la posible explotación de esta vulnerabilidad. Advierten de que los piratas informáticos pueden recopilar los nombres de estos paquetes inexistentes y crear sus propias versiones maliciosas. Posteriormente, desarrolladores desprevenidos podrían descargar inadvertidamente estos paquetes maliciosos basándose en las recomendaciones proporcionadas por ChatGPT.

Esto subraya la urgente necesidad de vigilancia dentro de la comunidad de desarrolladores para evitar la incorporación involuntaria de código dañino en sus proyectos.

¿Qué dicen los investigadores?

Los investigadores de Vulcan evaluaron ChatGPT probándolo con preguntas comunes procedentes de la plataforma de codificación Stack Overflow. Consultaron específicamente estas preguntas en los entornos Python y Node.js para evaluar las capacidades de ChatGPT en estos lenguajes de programación.

Los investigadores consultaron exhaustivamente a ChatGPT más de 400 preguntas y, durante esta evaluación, aproximadamente 100 de sus respuestas incluían al menos una referencia a paquetes Python o Node.js que no existen en la realidad.

Como resultado, las respuestas de ChatGPT incluían la mención de 150 paquetes inexistentes en total.

Los investigadores destacaron un posible problema de seguridad relacionado con el uso de las recomendaciones de paquetes de ChatGPT. Expresaron que los atacantes podrían aprovecharse de los nombres de paquetes sugeridos por ChatGPT, creando sus propias versiones maliciosas y subiéndolas a repositorios de software populares. En consecuencia, los desarrolladores que confían en ChatGPT para soluciones de codificación podrían descargar e instalar estos paquetes maliciosos sin saberlo.

Los investigadores subrayaron que el impacto de este escenario sería mucho más peligroso si los desarrolladores que buscan soluciones de codificación en línea piden recomendaciones de paquetes a ChatGPT y acaban utilizando inadvertidamente un paquete malicioso.

¿Cómo funciona la alucinación de paquetes de IA?

El vicepresidente de operaciones de seguridad de Ontinue, Craig Jones, ha explicado cómo podría funcionar el ataque AI Package Hallucination:

  • Los atacantes piden ayuda a ChatGPT para codificar tareas comunes;
  • ChatGPT podría proporcionar una recomendación de paquete que, o bien no existe, o bien aún no se ha publicado (una “alucinación”);
  • A continuación, los atacantes crean una versión maliciosa de ese paquete recomendado y la publican;
  • De este modo, mientras otros desarrolladores hacen las mismas preguntas a ChatGPT, éste podría recomendarles el mismo paquete existente pero malicioso.

Medidas de precaución para evitar el ataque

Melissa Bischoping, directora de investigación de seguridad de endpoints en Tanium, subraya la importancia de las prácticas cautelosas de ejecución de código a la luz del reciente ciberataque:

Nunca debes descargar y ejecutar código que no entiendas y que no hayas probado simplemente tomándolo de una fuente aleatoria, como los repos de código abierto de GitHub o las recomendaciones de ChatGPT.”

Además, Bischoping recomienda mantener copias privadas del código en lugar de importarlo directamente de repositorios públicos, ya que éstos se han visto comprometidos en el actual ciberataque.

El uso de esta estrategia continuará, y la mejor defensa es emplear prácticas de codificación seguras y probar y revisar a fondo el código destinado a ser utilizado en entornos de producción.
Según Vulcan Cyber, hay varias medidas de precaución que los desarrolladores pueden tomar para identificar paquetes potencialmente maliciosos y protegerse de los ciberataques. Estos pasos incluyen:

  1. Comprobar la fecha de creación del paquete: Si un paquete ha sido creado recientemente, puede levantar sospechas.
  2. Evaluar el número de descargas: Si un paquete tiene muy pocas descargas o ninguna, puede ser menos fiable y debe abordarse con precaución.
  3. Revisar los comentarios y valoraciones: Si un paquete carece de comentarios o estrellas, puede ser prudente actuar con cautela antes de instalarlo.
  4. Examinar las notas o la documentación adjuntas: Si la documentación adjunta o las notas asociadas al paquete están incompletas, son engañosas o levantan sospechas, conviene pensárselo dos veces antes de proceder a la instalación.

Permaneciendo alerta y siguiendo estos pasos de precaución, los desarrolladores pueden minimizar el riesgo de ser víctimas de un ciberataque a través de ChatGPT o cualquier otro entorno de ejecución de código.

Conclusión

El descubrimiento por parte del equipo de investigación de Vulcan Cyber del AI Hallucination Attack en el chatbot pone de manifiesto la importante amenaza que supone para los usuarios que confían en ChatGPT para su trabajo diario.

Para protegerse de este ataque y de los riesgos potenciales asociados a los paquetes maliciosos, los desarrolladores y otras víctimas potenciales deben extremar la precaución y seguir las principales directrices de seguridad.

Temas relacionados

Kuntal Chakraborty

Kuntal Chakraborty es ingeniero informático de profesión y formación y fundador de Philarity.com. Cuenta con una amplia experiencia técnica como ingeniero de sistemas e ingeniero de redes en Siemens y Atos. Kuntal también ha trabajado en el ámbito de la Inteligencia Artificial (IA) y el Aprendizaje Automático (AM) en diferentes puestos. Además, está muy interesado en la ciberseguridad y ha publicado varios artículos al respecto en algunas publicaciones internacionales. También ha creado y publicado con éxito algunas habilidades de Alexa como parte de la comunidad de desarrolladores de Amazon Alexa.