Quando você compra por meio de links afiliados em nosso site, podemos ganhar uma comissão sem nenhum custo adicional para você. Saiba Uma alucinação de IA é quando um modelo de linguagem grande (LLM), como o GPT4 da OpenAI ou o Google PaLM, cria informações ou fatos falsos que não se baseiam em dados ou eventos reais. Desse modo, conheça o significado de Alucinação de IA, saiba o que é e entenda como funciona.
O que é uma alucinação de IA?
Avivah Litan, analista vice-presidente do Gartner, explica:
As alucinações são resultados completamente fabricados a partir de grandes modelos de linguagem. Embora representem fatos completamente inventados, o resultado do LLM os apresenta com confiança e autoridade.
Os chatbots gerados por IA podem fabricar qualquer informação factual, desde nomes, datas e eventos históricos até citações ou mesmo códigos.
As alucinações são comuns o suficiente para que a OpenAI emita um aviso aos usuários no ChatGPT afirmando que “o ChatGPT pode produzir informações imprecisas sobre pessoas, lugares ou fatos”.
O desafio para os usuários é classificar as informações que são verdadeiras e as que não são.
Exemplos de alucinações de IA
Embora existam muitos exemplos de alucinações de IA que surgem o tempo todo, um dos casos mais notáveis ocorreu como parte de um vídeo promocional lançado pelo Google em fevereiro de 2023.
Na ocasião, seu chatbot de IA, Bard, afirmou incorretamente que o Telescópio Espacial James Webb havia tirado a primeira imagem de um planeta fora do sistema solar.
Da mesma forma, na demonstração de lançamento do Microsoft Bing AI em fevereiro de 2023, o Bing analisou uma declaração de lucros da Gap, fornecendo um resumo incorreto de fatos e números.
Esses exemplos ilustram que os usuários não podem confiar que os chatbots gerem respostas verdadeiras o tempo todo.
No entanto, os riscos apresentados pelas alucinações da IA vão muito além da disseminação de informações errôneas.
Na verdade, de acordo com a equipe de pesquisa da Vulcan Cyber, o ChatGPT pode gerar URLs, referências e bibliotecas de código que não existem ou até mesmo recomendar pacotes de software potencialmente maliciosos para usuários desavisados.
Como resultado, as organizações e os usuários que fazem experiências com LLMs e IA generativa devem fazer a devida diligência ao trabalhar com essas soluções e verificar novamente a precisão dos resultados.
O que causa as alucinações de IA?
Alguns dos principais fatores por trás das alucinações de IA são:
- Dados de treinamento desatualizados ou de baixa qualidade;
- Dados classificados ou rotulados incorretamente;
- Erros factuais, inconsistências ou vieses nos dados de treinamento;
- Programação insuficiente para interpretar as informações corretamente;
- Falta de contexto fornecido pelo usuário;
- Luta para inferir a intenção de coloquialismos, expressões de gíria ou sarcasmo.
É importante escrever prompts em inglês claro e com o máximo de detalhes possível.
Dessa forma, em última análise, é responsabilidade do fornecedor implementar programação e proteções suficientes para reduzir o potencial de alucinações.
Quais são os perigos da alucinação por IA?
Um dos principais perigos da alucinação por IA é se o usuário confiar demais na precisão do resultado do sistema de IA.
Embora algumas pessoas, como o CEO da Microsoft, Satya Nadella, tenham argumentado que os sistemas de IA, como o Microsoft Copilot, podem estar “utilmente errados”, essas soluções podem espalhar desinformação e conteúdo odioso se não forem controladas.
É difícil lidar com a desinformação gerada por LLM porque essas soluções podem gerar conteúdo que parece detalhado, convincente e confiável no serviço, mas que, na realidade, está incorreto, fazendo com que o usuário acredite em fatos e informações falsos.
Se os usuários acreditarem no valor de face do conteúdo gerado por IA, existe a possibilidade de que informações falsas e inverídicas se espalhem pela Internet como um todo.
Por fim, há também o risco de responsabilidades legais e de conformidade.
Por exemplo, se uma organização usar um serviço alimentado por LLM para se comunicar com os clientes, que emite orientações que danificam a propriedade do usuário ou regurgitam conteúdo ofensivo, ela poderá correr o risco de sofrer ações legais.
Como você pode detectar alucinações de IA?
A melhor maneira de um usuário detectar se um sistema de IA está alucinando é verificar manualmente os fatos do resultado fornecido pela solução com uma fonte de terceiros.
A verificação de fatos, números e argumentos em sites de notícias, relatórios do setor, estudos e livros por meio de um mecanismo de busca pode ajudar a verificar se uma informação está correta ou não.
Embora a verificação manual seja uma boa opção para os usuários que desejam detectar informações incorretas, em um ambiente corporativo, pode não ser logística ou economicamente viável verificar cada segmento de informação.
Por esse motivo, é uma boa ideia considerar o uso de ferramentas automatizadas para verificar novamente as soluções de IA generativa quanto à alucinação.
Por exemplo, a ferramenta de código aberto da Nvidia, NeMo Guardrails, pode identificar alucinações cruzando o resultado de um LLM com outro.
Da mesma forma, a Got It AI oferece uma solução chamada TruthChecker, que usa IA para detectar alucinações no conteúdo gerado pelo GPT-3.5+.
Obviamente, as organizações que usam ferramentas automatizadas como Nemo Guardrails e Got It AI para verificar os sistemas de IA devem fazer a devida diligência para verificar a eficácia dessas soluções na identificação de informações incorretas e realizar uma avaliação de risco para determinar se há outras ações que precisam ser tomadas para eliminar possíveis responsabilidades.
Resultado Final
A IA e os LLMs podem revelar alguns recursos interessantes para as empresas, mas é importante que os usuários estejam atentos aos riscos e às limitações dessas tecnologias para obter os melhores resultados.
Em última análise, as soluções de IA oferecem o maior valor quando são usadas para aumentar a inteligência humana em vez de tentar substituí-la.
Desde que os usuários e as empresas reconheçam que os LLMs têm o potencial de fabricar informações e verificar os dados de saída em outros lugares, os riscos de espalhar ou absorver informações incorretas são minimizados.
