Especialista defende lei contra desinformação gerada por IA usando desinformação criada por chatbot
Modelos de linguagem de grande escala ainda têm um longo caminho a percorrer antes de se provarem confiáveis e consistentes. Por enquanto, são úteis para iniciar pesquisas, mas somente tolos confiariam neles o suficiente para redigir um documento legal. Um professor especializado no assunto deveria saber disso.
Um professor de Stanford está sendo amplamente criticado após apresentar uma declaração ao tribunal em apoio a uma polêmica lei de Minnesota destinada a limitar o uso de deepfakes e IA para influenciar resultados eleitorais. A proposta de emenda à legislação existente afirma que candidatos condenados por usar deepfakes durante uma campanha eleitoral devem abandonar a disputa e enfrentar multas e prisão de até cinco anos e US$ 10.000, dependendo do número de condenações anteriores.
A deputada estadual de Minnesota Mary Franson e o YouTuber Christopher Kohls contestaram a lei, alegando que ela viola a Primeira Emenda. Durante os procedimentos preliminares, o procurador-geral de Minnesota, Keith Ellison, pediu ao diretor fundador do Social Media Lab de Stanford, professor Jeff Hancock, que apresentasse uma declaração apoiando a legislação.
O Minnesota Reformer destacou que Hancock elaborou um argumento bem articulado sobre a importância da lei. Ele citou várias fontes em defesa de sua posição, incluindo um estudo intitulado “The Influence of Deepfake Videos on Political Attitudes and Behavior” no Journal of Information Technology & Politics. Ele também mencionou outro artigo acadêmico chamado “Deepfakes and the Illusion of Authenticity: Cognitive Processes Behind Misinformation Acceptance”. O problema é que nenhum desses estudos existe no periódico mencionado ou em qualquer outro recurso acadêmico.
Os autores da ação judicial apresentaram um memorando sugerindo que as citações poderiam ter sido geradas por IA. As referências duvidosas questionam a validade da declaração, mesmo que não tenham sido feitas por um modelo de linguagem de grande escala (LLM). O memorando defende que o juiz deveria rejeitar o documento.
“A citação apresenta características de uma ‘alucinação’ gerada por inteligência artificial, sugerindo que pelo menos essa parte foi criada por um modelo de linguagem de grande escala, como o ChatGPT,” diz o memorando. “Os autores da ação não sabem como essa alucinação acabou na declaração de Hancock, mas isso coloca todo o documento em xeque.”
Se as citações forem realmente geradas por IA, é altamente provável que partes ou até mesmo todo o conteúdo da declaração também tenham sido. Em experimentos realizados com o ChatGPT, o site TechSpot observou que o modelo frequentemente cria citações fictícias na tentativa de dar validade a um texto. Quando questionado, o chatbot admite ter inventado o material e o revisa, mas muitas vezes com mais conteúdo igualmente questionável.
É possível que Hancock, um homem sem dúvida muito ocupado, tenha escrito um rascunho da declaração e o passado a um assistente para revisar. Esse assistente pode ter usado um modelo de IA para “refinar” o texto, e o modelo adicionou as referências sem que isso fosse solicitado. No entanto, isso não isenta o documento de uma análise rigorosa e críticas — o que exemplifica o principal problema com LLMs atualmente.
A ironia de um autoproclamado especialista ter submetido a um órgão legal um documento contendo desinformação gerada por IA, em apoio a uma lei que justamente visa combater esse tipo de desinformação, não passou despercebida. Nem Ellison nem Hancock comentaram o ocorrido e, provavelmente, preferem que esse erro embaraçoso desapareça.
A questão mais intrigante, no entanto, é se o tribunal considerará isso como perjúrio, já que Hancock assinou sob a declaração: “Declaro sob pena de perjúrio que tudo o que afirmei neste documento é verdadeiro e correto.” Se as pessoas não forem responsabilizadas por usar IA de forma inadequada, como ela poderá melhorar?
