A OpenAI confirmou a existência de uma ferramenta de marca d’água de texto projetada para identificar conteúdo gerado por IA, o que pode expor os alunos que usam o chatbot para trapacear.
Esse desenvolvimento ocorre em meio a preocupações crescentes sobre o impacto da IA na educação e na autenticidade do conteúdo.
Em um blog publicado em 7 de maio e atualizado em 4 de agosto, a OpenAI declarou que sua equipe “desenvolveu um método de marca d’água de texto que continuamos a considerar enquanto pesquisamos alternativas”.
Possíveis preocupações e limitações
O Wall Street Journal relatou pela primeira vez essa ferramenta, destacando seu alto grau de precisão na detecção de textos e redações gerados pelo ChatGPT, mas houve um debate sobre se a ferramenta de marca d’água deveria ser lançada.
A OpenAI declarou que a ferramenta é particularmente eficaz contra adulterações localizadas, como paráfrases, mas é “menos robusta contra adulterações globalizadas… tornando-a trivial para ser contornada por agentes mal-intencionados”.
Isso inclui o uso de sistemas de tradução, a reformulação com outro modelo generativo ou a inserção de caracteres especiais, como emojis, entre as palavras e sua posterior remoção.
Além disso, a empresa se preocupa com o possível impacto negativo da ferramenta em determinados grupos. Por exemplo, ela poderia estigmatizar o uso da IA como auxílio à escrita para falantes não nativos de inglês.
A OpenAI é cautelosa, reconhecendo que a implementação de tal ferramenta poderia afetar desproporcionalmente esses usuários.
Além disso, uma pesquisa revelou que quase 30% dos usuários do ChatGPT poderiam reduzir seu uso se a marca d’água fosse implementada.
No entanto, a OpenAI está atualmente priorizando tecnologias de marca d’água para conteúdo de áudio e visual devido às consequências potencialmente mais graves da multimídia gerada por IA, como deepfakes.
A empresa vê a marca d’água de texto como uma ferramenta adicional, juntamente com soluções como classificadores e metadados.
Impacto da IA na educação e no desenvolvimento contínuo
A consideração da marca d’água de texto ocorre no momento em que os educadores reclamam da influência da IA na integridade acadêmica.
O Center for Democracy and Technology informou que 59% dos professores de ensino fundamental e médio estavam confiantes de que alguns alunos haviam usado a IA para trabalhos escolares, um aumento de 17 pontos em relação ao ano anterior.
Enquanto delibera sobre a marca d’água de texto, a OpenAI continua avançando em seus modelos de linguagem. Recentemente, ela anunciou o GPT-4o Long Output com suporte para 64 mil tokens de saída.
Esse desenvolvimento ocorre em um cenário de crescente concorrência no espaço de IA, com o Google reduzindo os preços de seu modelo Gemini 1.5 Flash, tornando-o quase 50% mais barato que o GPT-4o mini da OpenAI.