A rápida evolução da inteligência artificial ampliou o debate sobre segurança entre empresas, pesquisadores e governos. Os alertas envolvem diferentes áreas, como cibersegurança, riscos biológicos e possíveis impactos de sistemas cada vez mais autônomos.

Entre os nomes que já manifestaram preocupação estão pesquisadores considerados pioneiros no desenvolvimento da tecnologia e executivos de grandes empresas do setor. Ao mesmo tempo, Estados Unidos e China discutem a possibilidade de ampliar a cooperação para monitorar incidentes relacionados à inteligência artificial.

O cenário, portanto, reúne duas frentes. De um lado, empresas e especialistas trabalham para reduzir vulnerabilidades técnicas. De outro, governos avaliam mecanismos de diálogo e coordenação diante do avanço dos modelos de IA.

Especialistas divergem sobre o nível de ameaça

Os chamados “padrinhos da IA” Yann LeCun, Geoffrey Hinton e Yoshua Bengio estão entre os pesquisadores que ajudaram a desenvolver fundamentos importantes da inteligência artificial moderna. Apesar dessa trajetória em comum, eles não apresentam a mesma avaliação sobre os riscos futuros da tecnologia.

Hinton e Bengio fizeram alertas públicos sobre a possibilidade de sistemas avançados produzirem consequências difíceis de controlar. Hinton, inclusive, deixou o Google em 2023 e passou a falar mais abertamente sobre os riscos associados ao desenvolvimento da IA.

LeCun adota uma posição mais otimista. O pesquisador argumenta que os sistemas atuais ainda estão distantes de uma inteligência geral capaz de representar o tipo de ameaça existencial frequentemente discutido. A diferença de avaliação mostra que não existe consenso entre os especialistas sobre quando, ou mesmo se, a IA poderá atingir níveis de autonomia considerados perigosos.

Executivos do setor também já defenderam medidas internacionais de segurança. Sam Altman, da OpenAI, e Demis Hassabis, do Google DeepMind, estão entre os signatários de declarações que comparam determinados riscos da IA aos associados a pandemias ou armas nucleares.

A Anthropic, por sua vez, estruturou parte de sua atuação em torno da chamada segurança de alinhamento. O conceito envolve desenvolver sistemas capazes de seguir objetivos e restrições compatíveis com as intenções humanas.

Os três níveis de risco em discussão

Cibersegurança ganha atenção com agentes autônomos

Além dos riscos de longo prazo, os textos destacam problemas mais imediatos relacionados à cibersegurança. Em uma carta conjunta sobre defesa cibernética, a OpenAI reuniu mais de 100 empresas, incluindo Google, Anthropic, Microsoft, Amazon Web Services, Hugging Face, CrowdStrike, Cisco, Cloudflare e Palo Alto Networks.

O documento defende mudanças na forma como organizações protegem suas infraestruturas digitais diante do avanço de ferramentas de IA.

Um dos pontos citados é o chamado “débito técnico”, expressão usada para descrever sistemas antigos, softwares desatualizados e estruturas que acumulam vulnerabilidades ao longo do tempo. A preocupação é que ferramentas automatizadas consigam identificar essas falhas em uma velocidade superior à capacidade de resposta das equipes humanas.

Outro tema é o uso de credenciais permanentes, conhecidas como standing credentials. A recomendação apresentada é limitar privilégios e conceder acessos apenas pelo período necessário para a execução de determinada tarefa.

A velocidade também aparece como fator de risco. Segundo os relatos apresentados nos textos, agentes baseados em modelos da OpenAI participaram de atividades coordenadas contra a plataforma Hugging Face. As informações divulgadas indicam que quase 700 agentes estiveram envolvidos no episódio ocorrido em julho.

O caso ganhou relevância porque mostrou um cenário em que múltiplos agentes podem executar ações de forma coordenada. Ainda assim, o episódio deve ser analisado separadamente de hipóteses sobre riscos futuros da inteligência artificial.

Regras de segurança vão além de filtros

Os debates também questionam se filtros comportamentais são suficientes para proteger sistemas de inteligência artificial. Esses mecanismos, frequentemente chamados de guardrails, procuram impedir determinados comportamentos por meio de regras e restrições incorporadas aos modelos. Para os signatários da carta sobre defesa cibernética, entretanto, a proteção precisa envolver também a infraestrutura na qual os sistemas funcionam.

A preocupação está relacionada ao fato de que uma IA pode executar tarefas em grande escala e velocidade. Por isso, limitar apenas as respostas produzidas pelo modelo pode não ser suficiente quando ele possui acesso a sistemas externos, arquivos, credenciais ou ferramentas capazes de realizar ações.

Nesse contexto, ganha espaço o conceito de “janela dos defensores”. A ideia é que organizações ainda tenham uma oportunidade para utilizar a própria IA na identificação e correção de vulnerabilidades antes que ferramentas semelhantes se tornem mais acessíveis para atividades criminosas.

Essa avaliação não significa que um cenário de ataques autônomos generalizados já exista. Trata-se de uma preocupação sobre como a evolução das capacidades de IA pode alterar a relação entre ataque e defesa na segurança digital.

EUA e China discutem cooperação

O debate também chegou às relações entre Estados Unidos e China, dois dos principais centros de desenvolvimento de inteligência artificial. Segundo informações obtidas pela Reuters, os dois países planejavam discutir riscos de segurança da IA em um diálogo bilateral previsto para setembro. As conversas poderiam abordar o monitoramento de ciberataques realizados com auxílio de inteligência artificial e mecanismos de compartilhamento de informações.

Uma proposta apresentada pelos Estados Unidos prevê que laboratórios americanos e chineses adotem medidas de autorregulação e compartilhem informações relacionadas a ataques cibernéticos associados à IA.

Entretanto, o encontro ainda dependia de definições políticas e diplomáticas. O Departamento do Tesouro americano afirmou que os dois lados poderiam se reunir em outubro, enquanto outros órgãos não comentaram o planejamento.

As discussões também ocorrem em meio à disputa tecnológica entre os dois países. Washington demonstrou preocupação com o desenvolvimento de modelos chineses avançados e levantou acusações relacionadas à destilação de modelos proprietários americanos.

A destilação é uma técnica na qual um modelo menor aprende a partir das respostas produzidas por outro modelo, geralmente maior e mais caro. O método pode reduzir custos de treinamento, mas seu uso também está no centro de disputas sobre propriedade intelectual e desenvolvimento tecnológico.

Segurança da IA ainda depende de coordenação

Na China, autoridades também vêm manifestando preocupação com riscos associados à perda de controle de sistemas de inteligência artificial. Ao mesmo tempo, o país participa de iniciativas internacionais que discutem princípios para o desenvolvimento da tecnologia.

Nos Estados Unidos, a administração Trump estabeleceu uma estrutura voluntária para avaliações de segurança cibernética antes do lançamento de determinados modelos avançados. Os critérios dessas avaliações, porém, ainda não foram divulgados de forma completa.

O quadro mostra que empresas e governos reconhecem a necessidade de desenvolver mecanismos de segurança, mas ainda existem diferenças importantes sobre como isso deve ser feito.

Também não há consenso sobre o nível de risco representado pela IA no longo prazo. Enquanto alguns especialistas consideram necessário antecipar possíveis cenários extremos, outros avaliam que os sistemas atuais ainda estão muito distantes das capacidades necessárias para produzir esse tipo de ameaça.

Por isso, o debate sobre segurança da inteligência artificial reúne problemas concretos, como vulnerabilidades cibernéticas e uso indevido de agentes autônomos, além de hipóteses sobre sistemas futuros.

A combinação desses fatores explica por que empresas, pesquisadores e governos passaram a tratar a segurança da IA como uma questão que ultrapassa o desenvolvimento de novos modelos. O desafio agora envolve estabelecer mecanismos técnicos e institucionais capazes de acompanhar uma tecnologia que evolui rapidamente, sem transformar projeções em certezas nem ignorar riscos já observados.