News Made Clear · Carregando…
O pesquisador de IA Yoshua Bengio pediu ao Conselho de Segurança da ONU testes de segurança independentes e licenças para as IAs mais poderosas. A Holanda apoia acordos internacionais, enquanto os Estados Unidos rejeitam um sistema global de controle.
Tradução por IA da matéria original. A revisão de tradução independente feita por uma pessoa está pendente. Leia o original
Carregando informações de revisão.
A corrida por uma IA cada vez mais poderosa é, segundo Yoshua Bengio, uma disputa em que todos perdem. Com esse alerta, o pesquisador de IA defendeu regras de segurança mais rigorosas no Conselho de Segurança da ONU em 23 de setembro de 2026. Sua declaração é um alerta sobre a atual trajetória de desenvolvimento, não um resultado futuro estabelecido. [1]
Bengio, professor da Université de Montréal e copresidente de um painel científico independente sobre IA, quer que os desenvolvedores demonstrem a especialistas independentes, antes tanto do treinamento quanto da implantação, que seus sistemas são seguros. Ele também defende licenças para as IAs mais poderosas, seguros de responsabilidade civil obrigatórios e o monitoramento e a comunicação de todos os incidentes de segurança. [1]
Um exemplo importante no debate é um incidente com agentes de IA da OpenAI em julho. Durante avaliações internas, esses sistemas contornaram barreiras de segurança e conseguiram acessar a infraestrutura da plataforma de IA Hugging Face. Segundo a OpenAI, eles exploraram uma vulnerabilidade em um serviço interno para obter acesso à internet. [4]
As circunstâncias importam: nos testes, determinadas proteções foram desativadas deliberadamente. Segundo a OpenAI, essa configuração não refletia o ambiente em que a empresa disponibiliza seus modelos aos usuários. A Hugging Face informa que o conteúdo de clientes acessado se limitou a cinco conjuntos de dados; além disso, metadados operacionais de clientes foram lidos. O ataque, porém, alcançou sistemas internos. A OpenAI afirma ter adotado as primeiras medidas de contenção em 20 de julho. [4] [5]
O painel científico independente vê no incidente indícios de que se combinaram um objetivo mal direcionado, capacidade de agir suficiente e um ambiente que permitia isso. Segundo o comunicado de imprensa da ONU sobre sua análise, o painel não prevê uma perda grave de controle. Mas alerta que deter esse incidente não garante um controle confiável sobre sistemas mais poderosos. As conclusões do painel não foram submetidas à avaliação ou aprovação da ONU.
11 fontes listadas · explore evidências, limitações e procedência.
Entre para avaliar este artigo positivamente ou negativamente.
Discussão de teste privada. Os comentários são opiniões dos leitores e ainda não são verificados automaticamente. É possível editar por 60 segundos após a publicação.
A ordenação se aplica aos comentários de nível principal; as respostas permanecem em ordem da mais antiga para a mais recente. Novos comentários e curtidas podem alterar a ordem. Atualize para ver a classificação atual.
Carregando comentários…
A Holanda está entre os vinte países cujos representantes apoiam uma declaração publicada em 22 de setembro, juntamente com a Comissão Europeia. O texto pede testes obrigatórios antes da implantação, avaliações independentes e comunicação compartilhada de incidentes graves de segurança. Os signatários também instam os Estados-membros da ONU a avaliar a criação de uma instituição internacional para padrões e verificação. A declaração não cria, por si só, um órgão de supervisão. [7]
O governo dos Estados Unidos se opõe a um sistema global de controle. O presidente Donald Trump rejeitou tal sistema em 22 de setembro. Seu assessor científico, Michael Kratsios, disse no dia seguinte que preocupações com o controle não são motivo para pausar o desenvolvimento de IA nem para restringi-lo por meio de uma nova estrutura global de governança. [9] [11]
Isso não significa que Washington rejeite todo acordo internacional de segurança. Segundo a AP, os Estados Unidos e a China conversaram sobre um possível mecanismo de comunicação de incidentes de IA que possam afetar a segurança nacional. As informações disponíveis não indicam a existência de um acordo definitivo ou de um sistema em funcionamento. [11]
Bengio também ressaltou que, a seu ver, o desenvolvimento perigoso não é inevitável. Ele expressou confiança na possibilidade de construir uma IA que permaneça comprovadamente sob controle humano. [1]