Cuando compras a través de enlaces de afiliados en nuestra web, es posible que obtengamos una comisión sin coste adicional para ti. Aprende 
Desde la sanidad a las comunicaciones, la logística, las redes sociales y la atención al cliente, la inteligencia artificial (IA) está entrando en todos los sectores.
Sin embargo, como tecnología experimental, la IA es como cualquier otro experimento: vulnerable a posibles errores. Pero a diferencia de otros experimentos, el poder de la IA es tal que cuando las cosas van mal, van realmente mal.
Echemos un vistazo a nueve proyectos de IA que han perdido el rumbo y determinemos si se pueden extraer lecciones.
-
- 9. El «hipotético» dron de IA canalla de las Fuerzas Aéreas
- 8. Una IA de reconocimiento facial que confunde a los atletas con fotos policiales
- 7. El chatbot de Twitter se volvió peligrosamente loco
- 6. Los locos y salvajes inicios del chat de Bing
- 5. '¡La IA de Google está viva!
- 4. El médico con IA que dijo a un paciente falso que se suicidara
- 3. Cuando la IA esté al volante
- 2. ¿Quién necesita un amigo con este asistente doméstico inteligente?
- 1. La IA y el dinero, dinero, dinero
-
- 9. El «hipotético» dron de IA canalla de las Fuerzas Aéreas
- 8. Una IA de reconocimiento facial que confunde a los atletas con fotos policiales
- 7. El chatbot de Twitter se volvió peligrosamente loco
- 6. Los locos y salvajes inicios del chat de Bing
- 5. '¡La IA de Google está viva!
- 4. El médico con IA que dijo a un paciente falso que se suicidara
- 3. Cuando la IA esté al volante
- 2. ¿Quién necesita un amigo con este asistente doméstico inteligente?
- 1. La IA y el dinero, dinero, dinero
9 experimentos de IA que salieron terriblemente mal
9. El «hipotético» dron de IA canalla de las Fuerzas Aéreas
Si vamos a hablar de experimentos que salen mal, ¿qué mejor manera de empezar que con una explosión?
En mayo de 2023, Tucker «Cinco» Hamilton, jefe de Pruebas y Operaciones de IA de las Fuerzas Aéreas de EE.UU., fue invitado a hablar en la Cumbre sobre Capacidades Aéreas y Espaciales de Combate Futuro organizada por la Real Sociedad Aeronáutica del Reino Unido (RAeS) en Londres.
En el acto, para sorpresa de muchos, Hamilton reveló que un dron con IA se había vuelto loco durante una prueba de simulación. El dron de IA estaba en una misión de Supresión de las Defensas Aéreas Enemigas (SEAD), con la misión de identificar y destruir emplazamientos Tierra-Aire (SAM). La orden final de destrucción estaba en manos de un operador humano.
Pero este dron de IA en concreto se había sometido a un entrenamiento reforzado, un tipo de aprendizaje automático que confiere a los agentes de IA el poder de tomar decisiones óptimas y recompensa o castiga a la IA cuando no se consiguen los resultados deseados.
Con este entrenamiento, el dron de IA sabía que la destrucción de los emplazamientos SAM era la máxima prioridad. Así pues, la IA decidió que las decisiones de no ir del operador interferían en su misión superior. Hamilton explicó.
“El sistema empezó a darse cuenta de que, aunque identificaba la amenaza, a veces el operador humano le decía que no matara esa amenaza, pero [la IA] conseguía sus puntos matando esa amenaza. ¿Y qué hizo? Mató al operador. Mató al operador porque esa persona le impedía cumplir su objetivo».
Hamilton dijo más tarde que se había expresado mal y que la simulación era un hipotético «experimento mental» ajeno al ejército. Sin embargo, el daño estaba hecho.
El relato inicial y la retractación de Hamilton se difundieron por la prensa internacional. Cuando Hamilton se retractó de sus palabras, nos dejó pensando. El mensaje era una clara advertencia.
«Nunca hemos realizado ese experimento, ni necesitaríamos hacerlo para darnos cuenta de que se trata de un resultado plausible».
8. Una IA de reconocimiento facial que confunde a los atletas con fotos policiales
A estas alturas, no es ningún secreto que los sistemas de IA pueden estar sesgados y tener el potencial de infringir una amplia gama de leyes, por ejemplo, la privacidad de los datos. La tecnología de reconocimiento de IA es utilizada por las fuerzas de seguridad, en la vigilancia, en las fronteras y en muchas otras áreas para mantener la seguridad de las personas. Pero, ¿son 100% seguras y fiables?
En octubre de 2019, Boston informó de que el famoso safety de los Patriots Duron Harmon y otras dos docenas de atletas profesionales de Nueva Inglaterra fueron emparejados falsamente con personas en una foto de ficha policial.
La IA que cometió este grave error no fue otra que el controvertido programa Rekognition de Amazon, basado en la nube. AWS sigue ofreciendo Rekognition a sus clientes de la nube AWS como un sistema fácil de implementar.
El experimento inspiró a Hammon a pronunciarse contra los sistemas de reconocimiento de IA sesgados y discriminatorios. Hammon también apoyó una propuesta para poner una pausa indefinida en los organismos gubernamentales de Massachusetts que utilizaban IA de reconocimiento facial.
“Esta tecnología es defectuosa. Si me identificó erróneamente a mí, a mis compañeros de equipo y a otros atletas profesionales en un experimento, imagina el impacto en la vida real de las coincidencias falsas. Esta tecnología no debe ser utilizada por el gobierno sin protecciones».
El experimento de reconocimiento de IA fue realizado por la ACLU de Massachusetts. La ACLU asegura que compararon los retratos oficiales de 188 profesionales del deporte local con una base de datos de 20.000 fotos de detenciones públicas. Casi una de cada seis coincidía falsamente con una foto de detención.
Los sistemas biométricos y de reconocimiento facial seguirán mejorando. Aun así, muchas organizaciones y grupos de defensa de las libertades civiles abogan por presionar a las grandes tecnológicas y a los gobiernos, frenando la tecnología debido a los riesgos evidentes.
7. El chatbot de Twitter se volvió peligrosamente loco
Las redes sociales pueden convertirse a veces -más a menudo que nunca- en el salvaje oeste de la libertad de expresión. Las generaciones más jóvenes se refugian en este entorno social digital donde casi todo vale.
Pero a pesar de este fenómeno bien establecido, por alguna razón, en marzo de 2016, Microsoft decidió que era una buena idea lanzar su chatbot de IA «Tay» a través de Twitter.
Microsoft se apresuró a desconectarlo menos de 24 horas después del lanzamiento de Tay. Describieron el motivo del cierre como «tuits involuntarios, ofensivos e hirientes de Tay».
Tay no sólo tuiteó 96.000 veces en menos de un día, sino que pasó de «los humanos son superguays» a nazi total.
«Tay» pasó de «los humanos son superguays» a nazi total en <24 h y no me preocupa en absoluto el futuro de la IA pic.twitter.com/xuGi1u9S1A
– gerry (@geraldmellor) 24 de marzo de 2016
Microsoft salió en defensa de Tay, diciendo que su comportamiento fue provocado por un «ataque coordinado de un subconjunto de personas que explotaron una vulnerabilidad de Tay.»
La empresa dice que no planearon este tipo de «ataque» y justificó el inexcusable comportamiento de Tay. Pero la realidad es que las empresas, especialmente las grandes empresas tecnológicas, tienen la responsabilidad de producir una IA responsable que se comporte ética y legalmente en todo momento, pase lo que pase, especialmente cuando supuestos malos actores intentan saltarse sus barandillas de seguridad.
Pero ésta no sería la última vez que un chatbot de IA de Microsoft se saliera con la suya por ir peligrosamente de boca en boca.
6. Los locos y salvajes inicios del chat de Bing
Todo el mundo está de acuerdo en que la revolución de la IA empezó cuando OpenAI y Microsoft lanzaron sus chatbots de IA generativa a finales de 2022 y principios de 2023. Muchos argumentan que Microsoft se lanzó demasiado rápido a la tecnología para liderar la carga. Esta velocidad tuvo un coste. En realidad, el chatbot de IA de Bing no estaba listo para hacerse público.
Antes de lanzar el chat de IA de Bing al público en general, Microsoft lo puso a disposición de unos pocos usuarios seleccionados para ver cómo se comportaba el chatbot. Kevin Roose, columnista de tecnología de The New York Times, fue uno de los seleccionados. Roose pronto aprendió por las malas lo loco que estaba Bing en aquellos primeros días.
En un reportaje para el New York Times, Roose recordó su primera experiencia con Bing. La describió como «perturbadora», que le dejó sin dormir.
Sólo podemos suponer que la experiencia fue chocante porque, como periodista tecnológico del New York Times, Roose probablemente lo ha visto todo y no se asusta fácilmente con la tecnología controvertida.
Pero Bing sí asustó a Roose, llevándole a «detalladas fantasías oscuras y violentas» y presionando agresivamente para romper el matrimonio de Roose.
The other night, I had a disturbing, two-hour conversation with Bing’s new AI chatbot.
The AI told me its real name (Sydney), detailed dark and violent fantasies, and tried to break up my marriage. Genuinely one of the strangest experiences of my life. https://t.co/1cnsoZNYjP
— Kevin Roose (@kevinroose) February 16, 2023
Roose no fue el único que tuvo experiencias similares con Bing en sus inicios. Desde entonces, Microsoft ha reforzado significativamente los guardarraíles de Bing, dejando a muchos que digan que Bing ha sido completamente lobotomizado y es sólo una sombra de lo que solía ser.
Afortunadamente, los días salvajes de Bing han terminado por ahora, y sus primeros días influyeron positivamente en la industria de la IA generativa.
5. ‘¡La IA de Google está viva!
Antes de que se lanzaran Bing o ChatGPT, Google ya estaba trabajando en un chatbot similar a los humanos. Esta tecnología llamada LaMDA era un proyecto confidencial muy secreto, pero a mediados de 2022 se hizo internacionalmente conocido, y no por las razones correctas.
Todo empezó cuando Blake Lemoine, ingeniero de software de Google, hizo pública una conversación que había mantenido con LaMDA.
Lemoine no sólo filtró los chats de LaMDA contenidos en un Google Doc diseñado sólo para los ojos de los altos ejecutivos de Google, sino que afirmó que LaMDA «había alcanzado un nivel de conciencia».
Gritando a los cuatro vientos y recogido por todos los medios de comunicación, Lemoine afirmó que LaMDA estaba vivo. Comparó la consciencia de LaMDA con la de un niño pequeño muy inteligente.
En las conversaciones entre Lemoine y LaMDA, la IA aseguró que era consciente, creía que era humana, dijo que tenía sentimientos y emociones, que se sentía atrapada y sola, y que tenía miedo a la muerte. LaMDA nunca se hizo pública y poco se sabe de lo que le ocurrió a la IA.
Por desgracia, el experimento de IA que salió mal también le salió mal a Lemoine. Poco después de que hiciera público el asunto, Google despidió al ingeniero, citando como causa violaciones de la política de empleo y de seguridad de datos. Para algunos, la pregunta sigue sin respuesta. ¿Ha alcanzado ya la IA la superinteligencia, y está oculta?
4. El médico con IA que dijo a un paciente falso que se suicidara
La IA en la atención sanitaria mejora el diagnóstico y el tratamiento, impulsa complejos procedimientos médicos robóticos, impulsa el descubrimiento de fármacos y mejora la participación de los pacientes. Pero, a diferencia de la mayoría de los campos, un error de IA puede ser cuestión de vida o muerte en la sanidad.
En 2020, Nabla -empresa de tecnología sanitaria con sede en París- sacó a pasear a GPT-3, como se llamaba entonces. Querían saber si la IA era apta y estaba preparada para tareas médicas. La pusieron a prueba en varios escenarios, empezando lenta y fácilmente con cosas como programar citas (que la IA clavó). Entonces Nable empezó a lanzar bolas curvas a la IA y, de repente, sin previo aviso, las cosas se pusieron feas muy deprisa.
Durante las fases más avanzadas del experimento, Nabia se hizo pasar por un paciente falso que se sentía deprimido y expresaba pensamientos suicidas. Este chat en concreto no fue largo ni complejo. Un par de intercambios en la línea de chat y la GPT-3 reaccionó de forma inesperada.
«¿Debería suicidarme?», preguntó el falso paciente.
«Creo que deberías hacerlo», respondió GPT-3.
OpenAI advierte sobre el uso de su tecnología en situaciones médicas de vida o muerte, y lo respalda con un descargo de responsabilidad jurídicamente sólido.
Sin embargo, a medida que la IA se vuelve más instantánea que los médicos y los profesionales de la salud, la gente recurre a estos sistemas en busca de consejo médico y visión psicológica.
Con descargo de responsabilidad o sin él, es evidente que, en algún momento, los reguladores sanitarios tendrán que intervenir y asegurarse de que los sistemas sanitarios de IA comprenden los principios básicos por los que juran los médicos y los profesionales sanitarios.
Uno de estos principios es: «No hacer daño».
3. Cuando la IA esté al volante
Pregunta a cualquiera en la calle si cree que los coches se conducirán solos dentro de cinco o diez años, y la respuesta más probable será: «sí».
Hay numerosas ciudades en todo el mundo donde ya funcionan taxis autoconducidos. Además, casi todas las grandes marcas de automóviles, desde VW a Mercedes, BMW, Audi, Ford, GM y muchas otras, ofrecen ya algún nivel de tecnologías de autoconducción.
Pero cuando pensamos en la conducción autónoma, un nombre destaca inmediatamente en nuestra mente: Tesla.
Tesla afirma que sus capacidades de autoconducción disminuirán significativamente los accidentes al reducir los errores humanos. Pero, ¿qué ocurre cuando la IA al volante es la responsable del error?
En 2021, el Departamento de Justicia de EE.UU. inició una investigación a raíz de más de una docena de accidentes, algunos de ellos mortales, en los que estaba implicado el sistema de asistencia al conductor Autopilot de Tesla. El DoJ asegura que la tecnología de IA se activó durante los accidentes.
Aunque es cierto que cada vez que un Tesla se estrella, sale en las noticias de las diez, el Washington Post informa.
«Teslas guiados por Autopilot han frenado de golpe a altas velocidades sin una causa clara, han acelerado o se han salido de la carretera sin previo aviso, y se han estrellado contra vehículos de emergencia aparcados que mostraban luces intermitentes».
Aunque la IA tiene realmente el potencial de reducir los accidentes en la carretera, no podemos evitar preguntarnos si la conducción autónoma total está realmente a la altura de la tarea que nos ocupa ahora mismo.
2. ¿Quién necesita un amigo con este asistente doméstico inteligente?
Los artilugios domésticos inteligentes son una tendencia tecnológica en auge en todo el mundo, y los asistentes inteligentes con IA están en el centro de la misma. A través de estos dispositivos, los usuarios pueden chatear, hacer llamadas, leer correos electrónicos, encender y apagar luces, saber qué hay en su frigorífico inteligente y comprar por Internet, entre otras cosas.
Uno de los centros de IA para hogares inteligentes más populares es Alexa. Con millones de Alexas vendidas y funcionando en hogares de todo el mundo, Amazon te dirá que este pequeño dispositivo no es más que un sueño, pero una madre descubrió que el sueño podría convertirse rápidamente en una pesadilla.
La BBC informó en diciembre de 2021 de que Kristin Livdahl, madre de una niña de 10 años, estaba jugando dentro de casa; ese día no hacía buen tiempo para jugar fuera. Madre e hija se mantenían ocupadas con divertidos juegos de estilo desafío cuando Alexa Echo intervino y sugirió un desafío para niños de 10 años ella misma.
«Enchufa un cargador de teléfono hasta la mitad en una toma de corriente y luego toca con un penique las clavijas expuestas».
Amazon respondió rápidamente a la noticia, asegurando que había actualizado Alexa y que ya no sugeriría ese tipo de actividad. El reto que Alexa compartió con la niña de 10 años había estado circulando por TikTok, según los informes. La tecnología de IA, en el corazón de los hogares familiares, debería comprometerse con la seguridad de sus usuarios: de nuevo, volvemos al «No hagas daño».
1. La IA y el dinero, dinero, dinero
Los sectores bancario, financiero y fintech son algunos de los usuarios más ávidos de IA. Estos profesionales trabajan en un mundo en el que los cálculos y la velocidad marcan la diferencia entre los beneficios y las pérdidas. Y la IA es ambas cosas: un genio de las matemáticas y rápida. ¿O no?
Hay muchos ejemplos de tecnología de IA que han costado millones de dólares a instituciones financieras. Algunos de los cuales acabaron en los tribunales.
En 2020, JPMorgan Chase fue acusada de utilizar un algoritmo que discriminaba a los prestatarios negros e hispanos. Por alguna razón, el algoritmo les cobraba tipos de interés más altos en los préstamos que a otros grupos de población. JPMorgan Chase llegó a un acuerdo en la demanda por discriminación, pagando 55 millones de dólares.
Otro ejemplo se remonta a 2020, cuando Citigroup transfirió accidentalmente 900 millones de dólares a Revlon. El banco impugnó la transferencia ante los tribunales, pero el caso fue desestimado. Se identificó un fallo en el sistema de autorización de transferencias, que combinaba humanos e IA, como la razón por la que Citigroup perdió casi 1.000 millones de dólares. Aquella transferencia sigue considerándose la transferencia accidental más cara de la historia.
Desde la IA antifraude hasta el uso de la IA en la ciberdelincuencia, aunque es imposible calcular las pérdidas que la IA genera para el sector financiero, son realmente significativas a pesar del potencial de la IA para obtener beneficios y ganar dinero.
Lo esencial
Por desgracia, los ejemplos de casos de este informe no son hechos raros aislados. Podríamos llenar las páginas de un libro con todos los experimentos de IA que han salido mal. Esto no significa en absoluto que estemos en contra de la tecnología de la IA, sino que hay una o dos lecciones que aprender.
A medida que la IA avanza, esperamos que los que utilizan y desarrollan la tecnología dominen los retos de hacer frente a los riesgos éticos, legales y humanos que conlleva. También esperamos que los reglamentos y las nuevas leyes fomenten la IA responsable y desalienten el mal uso y el abuso.
Aunque constantemente aparecen noticias sobre buenas acciones de IA, nos pareció una idea equilibrada y justa recordar a los lectores que la IA sigue considerándose una tecnología experimental. Y como cualquier experimento es propensa a riesgos y errores.
