Relatórios inúteis de segurança gerados por IA estão frustrando os mantenedores de código aberto
Os serviços de IA generativa não são nem inteligentes nem capazes de oferecer uma contribuição significativa aos esforços de desenvolvimento de código aberto. Um especialista em segurança, cansado de listas de bugs “spam” e alucinações de IA, está expressando sua frustração e pedindo à comunidade FOSS (Free and Open Source Software) que evite relatórios gerados por IA.
Modelos de IA generativa já se mostraram ferramentas poderosas nas mãos de cibercriminosos e fraudadores. No entanto, esses modelos também podem ser usados por oportunistas para inundar projetos de código aberto com relatórios de bugs inúteis. Segundo Seth Larson, o número de relatórios de segurança “extremamente” mal feitos, repetitivos e alucinados por LLMs (Modelos de Linguagem de Grande Escala) aumentou recentemente, forçando os mantenedores a desperdiçar tempo com problemas de baixa relevância.
Larson é um desenvolvedor de segurança da Python Software Foundation e voluntário em equipes de triagem encarregadas de revisar relatórios de segurança para projetos populares de código aberto, como CPython, pip, urllib3, Requests e outros. Em um post recente em seu blog, Larson denuncia uma nova e preocupante tendência: relatórios de segurança mal elaborados criados por sistemas de IA generativa.
Esses relatórios gerados por IA são insidiosos porque aparentam ser legítimos e valem a pena serem verificados. Contudo, como os projetos Curl e outros já apontaram, são apenas “lixo com uma aparência melhor”, mas ainda assim, lixo. Milhares de projetos de código aberto são afetados por esse problema, enquanto os mantenedores não são incentivados a compartilhar suas descobertas devido à natureza sensível do desenvolvimento relacionado à segurança.
“Se isso está acontecendo com os poucos projetos para os quais tenho visibilidade, então suspeito que isso esteja ocorrendo em larga escala com projetos de código aberto”, afirmou Larson.
Relatórios alucinados desperdiçam o tempo de mantenedores voluntários e geram confusão, estresse e muita frustração. Larson sugeriu que a comunidade trate relatórios de IA de baixa qualidade como maliciosos, mesmo que essa não seja a intenção original dos remetentes.
Ele ofereceu conselhos valiosos para plataformas, reportadores e mantenedores que estão lidando com o aumento de relatórios gerados por IA. A comunidade deve usar CAPTCHA e outros serviços anti-spam para evitar a criação automatizada de relatórios de segurança. Além disso, quem reporta bugs não deve usar modelos de IA para detectar vulnerabilidades de segurança em projetos de código aberto.
Os modelos de linguagem de grande escala não entendem nada sobre código. Encontrar falhas de segurança legítimas exige lidar com “conceitos em nível humano”, como intenção, uso comum e contexto. Os mantenedores podem se poupar de muitos problemas respondendo a relatórios gerados por IA com o mesmo esforço investido pelos remetentes originais, que geralmente é “praticamente zero”.
Larson reconhece que muitos reportadores de vulnerabilidades agem de boa fé e geralmente fornecem relatórios de alta qualidade. No entanto, uma “maioria crescente” de relatórios de baixa qualidade e baixo esforço está prejudicando todos os envolvidos no desenvolvimento.
- Veja também: Google afirma que seu novo modelo de IA supera o principal sistema de previsão do tempo
