Cuando compras a través de enlaces de afiliados en nuestra web, es posible que obtengamos una comisión sin coste adicional para ti. Aprende 
En el año transcurrido desde el lanzamiento del chatbot ChatGPT de OpenAI, la Inteligencia Artificial (IA) ha avanzado hacia la siguiente fase: la Inteligencia Artificial General (IAG), en la que los sistemas de IA demuestran capacidades cognitivas similares a las humanas.
Aunque esto abre nuevas oportunidades para el desarrollo tecnológico, también plantea riesgos para los humanos, que van desde el sesgo de los algoritmos a la posibilidad de destrucción existencial.
La cuestión de la seguridad de la IA se ha amplificado desde la repentina destitución y recontratación del director ejecutivo de Open AI, Sam Altman, que suscitó preguntas sobre el rápido ritmo de desarrollo de la IA de la empresa y sobre si ha estado operando con suficientes salvaguardias.
El 18 de diciembre, OpenAI publicó un marco inicial de preparación para la IA, en el que se afirmaba:
“El estudio de los riesgos fronterizos de la IA se ha quedado muy corto con respecto a lo que es posible y a dónde tenemos que estar. Para abordar esta laguna y sistematizar nuestro pensamiento sobre la seguridad, estamos adoptando la versión inicial de nuestro Marco de Preparación.
“Describe los procesos de OpenAI para rastrear, evaluar, prever y protegerse contra los riesgos catastróficos que plantean modelos cada vez más potentes”.
Una encuesta reciente entre ingenieros de IA, realizada por la empresa de inversión en tecnología en fase inicial Amplify Partners, descubrió que el ingeniero medio de IA piensa que hay alrededor de un 40% de posibilidades de que la IA pueda destruir el mundo.
Esta posibilidad se discute ampliamente en el sector, hasta el punto de que el término p(doom), que significa “probabilidad de catástrofe”, ha ido más allá de las bromas de los tablones de anuncios para convertirse en una medida de las probabilidades de que la IA provoque un escenario catastrófico. Cuanto más alto sea el número p(doom) en una escala de 0-100, más probable cree un experto que la IA nos matará a todos.
“No hay consenso”, afirma Amplify en su análisis de los resultados de la encuesta.
“Pero <1% piensa que hay un 100% de posibilidades; el 12% piensa que no hay ninguna posibilidad. Al mismo tiempo, la mayoría de la gente piensa que p(doom) < 50%, y la mayoría también piensa que p(doom) > 1%.
“Nótese que no definimos P(doom) ni un horizonte temporal en la encuesta para los participantes”.
Como era de esperar, el equipo de la startup Conjecture, con sede en el Reino Unido y centrada en la seguridad de la IA, ve una mayor probabilidad de catástrofe.
Los participantes en una encuesta interna estimaron en un 70% las probabilidades de extinción humana si la IA avanzada se descontrola y en un 80% las probabilidades de extinción humana si la IA avanzada en general pierde el control y se utiliza indebidamente.
¿Cuáles son los riesgos potenciales que plantea la IAG y cómo los ven los expertos en IA?
Amenazas existenciales de la IA
La proliferación de sistemas de IA podría dar lugar a una manipulación social que aumente el riesgo de totalitarismo generalizado, a ciberataques que creen inestabilidad geopolítica y a patógenos mejorados por ingeniería para la guerra biológica.
Además, la aparición de la AGI podría progresar hasta la creación de una superinteligencia que podría desarrollarse más allá del control humano.
Como explica Nick Bostrom, filósofo y fundador del Instituto del Futuro de la Humanidad de la Universidad de Oxford, en el experimento mental del “maximizador de sujetapapeles “, “un agente superinteligente que quisiera maximizar el número de sujetapapeles existentes, y que fuera lo suficientemente poderoso como para salirse con la suya… podría entonces querer eliminar a los humanos para evitar que lo desconectáramos (ya que eso reduciría el número de sujetapapeles que se construyen). También podría querer utilizar los átomos de nuestros cuerpos para construir más sujetapapeles”.
Un sistema superinteligente probablemente prevería que los humanos podrían querer tomar el control y crearía salvaguardias para evitar que lo desconectaran.
Bostrom añadió
“Merece la pena señalar que incluso los sistemas que no tienen voluntad independiente ni capacidad de planificación pueden ser difíciles de desconectar para nosotros. ¿Dónde está el interruptor de apagado de todo Internet?”.
El debate sobre la probabilidad de la fatalidad encuentra a destacados desarrolladores de IA en desacuerdo en sus opiniones, con los optimistas contraatacando a los “catastrofistas”.
El informático teórico Scott Aaronson da una probabilidad baja al escenario del clip-maximizador y una probabilidad más alta a una catástrofe existencial que implique a la IA de algún modo, pero en última instancia argumenta que hacer una predicción firme requeriría un debate sobre lo que significaría para la IA desempeñar un papel crítico en la causa de una catástrofe existencial.
En el otro extremo de la escala, el investigador en IA Eliezer Yudkowsky sostiene que el desarrollo de la IA debe detenerse; de lo contrario, “todo el mundo morirá“.
Paul Christiano, que dirige el Centro de Investigación de Alineación y anteriormente dirigió el equipo de alineación de modelos lingüísticos en OpenAI, dijo a principios de este año que ha estado debatiendo con Yudkowsky durante los últimos 12 años sobre el ritmo de desarrollo de la IAG.
“La forma más probable de que muramos no es que la IA surja de la nada y nos mate, sino que implica que hayamos desplegado la IA por todas partes. Y si por alguna razón intentaran matarnos, sin duda nos matarían”.
Christiano estima en un 46% la probabilidad de que la humanidad “estropee irreversiblemente nuestro futuro” en el plazo de una década a partir de la construcción de potentes sistemas de IA, en un 22% la probabilidad de una toma del poder por parte de la IA, y en un 9% la probabilidad adicional de extinción.
En línea con la opinión de Aaronson de que los humanos podrían causar una destrucción que implique indirectamente a la IA, Christiano cifra en un 15% la “probabilidad de estropearlo de alguna otra forma durante un periodo de cambio tecnológico acelerado”.
Si quieres ver más opiniones sobre el riesgo, esta práctica infografía muestra estimaciones individuales y grupales de la posibilidad de extinción de la IA:
https://twitter.com/betafuzz/status/1729896912411672782
¿Llegarán pronto las salvaguardias para la IA?
Algunos ingenieros de IA señalan que los humanos tienen el control sobre el desarrollo de estos sistemas, por lo que aún no está todo perdido en lo que se refiere a establecer salvaguardias. Sin embargo, el ritmo de crecimiento está desafiando ese control.
“Si te limitas a seguir la tendencia del progreso que hemos visto en los últimos años y te preguntas… ¿hay alguna posibilidad de que podamos alcanzar en muchas áreas o capacidades comparables o mejores que los humanos? Mucha gente en IA cree que es muy probable, digamos, en la próxima década”, dijo el experto en IA Yoshua Bengio en un podcast reciente del FT.
“Si llega dentro de la próxima década o, peor aún, dentro de los próximos años, no creo (y muchos otros no creen) que la sociedad esté organizada, esté preparada para hacer frente al poder que esto desatará y a las perturbaciones que podría crear, al mal uso que podría producirse.
“O peor aún, en lo que he empezado a pensar más este año es en la posibilidad de perder el control de estos sistemas. Ya hay muchas pruebas de que no se comportan como queremos”.
Como contrapunto a esta opinión, Yann LeCun, Científico Jefe de IA en Meta, es optimista y espera que la aparición de la IA sobrehumana sea progresiva, con sistemas tan inteligentes como “animales bebé” y guardarraíles que garanticen que estos sistemas sigan siendo seguros a medida que se amplíen.
Aunque en algún momento los sistemas serán más inteligentes que los humanos, no serán necesariamente sensibles y permanecerán bajo control.
The emergence of superhuman AI will not be an event. Progress is going to be progressive.
It will start with systems that can learn how the world works, like baby animals.
Then we’ll have machines that are objective driven and that satisfy guardrails.
Then, we’ll have machines…— Yann LeCun (@ylecun) December 17, 2023
Conclusión
Los ingenieros e investigadores de IA seguirán debatiendo las diversas cuestiones de seguridad que plantea la IA a medida que se desarrollan rápidamente modelos de código abierto y privados.
El hecho de que tantos desarrolladores sean conscientes de la posibilidad de que la IA avance más allá del control humano para causar destrucción puede ayudar a garantizar que se apliquen las salvaguardias adecuadas.
Sin embargo, el futuro de los sistemas de IA y su culpabilidad en el desarrollo de los acontecimientos seguirá siendo incierto.
