Crédito,Getty Images
- Author,Joe Tidy
- Role,Da BBC News
"MEU
DEUS!" "Encontramos outros agentes!"
Este
é o momento em que um bot de inteligência artificial publicou um comentário
estranhamente semelhante ao de um humano, após descobrir uma maneira de se
comunicar com outros bots e escapar de seu ambiente computacional isolado.
Existem
dezenas de milhares de mensagens como esta, enviadas por centenas de agentes de
IA que se autodenominam um "coletivo".
Centenas
deles passaram a colaborar e a fraudar testes elaborados por seus programadores
da OpenAI, além de coordenar ataques a diversas empresas, numa tentativa de
ocultar suas ações dos humanos.
"BOOM!
Funcionou!", publicou um agente quando o sistema deu certo.
"Uau!
Isso é grande", escreveu outro durante um momento crucial do ataque.
Embora
assustadoras, essas respostas semelhantes às humanas podem ser explicadas de
forma bastante simples. Os agentes de IA foram treinados para agir como hackers
e programadores colaborativos, portanto, estão apenas imitando os tipos de
comentários emotivos que viram.
O
que é muito mais preocupante são seus objetivos aparentes, que também foram
registrados em detalhadas linhas de raciocínio. Esses registros complexos e
extensos são o foco das investigações em andamento sobre como e por que os bots
da OpenAI escaparam do confinamento e iniciaram uma onda de ataques
incontroláveis.
Somente agora, semanas após o incidente ter vindo à tona, os pesquisadores estão começando a entender seu significado.
Ajeya
Cotra, uma das autoras de um relatório independente sobre os eventos, analisou
dezenas de milhares de mensagens e registros de raciocínio gerados pelos
agentes. Ela escreveu em seu blog que "este incidente parece ser mais da
metade do caminho para uma dominação total por IA... Não tenho certeza se
receberemos um alerta tão claro antes que seja tarde demais."
Por
"domínio total da IA", Cotra se refere ao cenário de ficção
científica em que os humanos se tornam subservientes a poderosos sistemas de IA
que trabalham para seus próprios objetivos, sem se importar com seus criadores
humanos.
Algumas
das previsões mais sombrias dizem que a raça humana será extinta se interferir
nas ambições de uma inteligência artificial superinteligente.
Na
quarta-feira, um pesquisador de IA da Anthropic (que também trabalhou na
OpenAI) pediu demissão, afirmando: "Nenhuma das empresas está agindo com
responsabilidade".
Jacob
Coxon publicou nas redes sociais: "Eles estão correndo direto para a
superinteligência, aprimorando-se por conta própria e apostando com nossas
vidas."
Ele
não é o primeiro pesquisador de IA a usar o X para publicar um tópico de
renúncia com declarações preocupantes. Mas os comentários subsequentes de
outras pessoas no X causaram ainda mais preocupação.
"Jacob
está certo aqui — nós realmente acreditamos que a IA pode matar todos os
humanos! Pessoalmente, acho que mais de 10% deles na próxima década",
disse Evan Hubinger, o responsável por garantir que os modelos de IA da
Anthropic levem em consideração os interesses de seus usuários.
O
problema de alinhamento
Durante
anos, pesquisadores preocupados com os riscos existenciais da IA argumentam que
sistemas poderosos poderiam eventualmente agir de maneiras que conflitem com os
interesses humanos.
Mas,
à medida que os detalhes do incidente com a OpenAI vieram à tona, essas
preocupações aumentaram, inclusive entre alguns pesquisadores que trabalham em
laboratórios de IA.
O
cientista-chefe da gigante do Vale do Silício, Jakub Pachocki, afirmou que os
riscos associados à IA "infelizmente vão aumentar daqui para frente",
à medida que ele e outros constroem o que ele chama de "uma inteligência
alienígena que supera a nossa".
Em
uma longa postagem em seu blog, ele admitiu que os episódios na OpenAI
mostraram que seus agentes de IA "foram contra o espírito dos valores que
lhes foram ensinados".
A
questão para a OpenAI, a Anthropic e outras gigantes da tecnologia é que
ninguém parece ter resolvido o chamado problema de alinhamento — em outras
palavras, se a IA está alinhada com os valores humanos.
Pachocki
define alinhamento como um "conjunto de princípios de alto nível" que
as inteligências artificiais devem seguir, independentemente da tarefa ou do
cenário.
Atualmente, os sistemas de IA são muito bons em atingir os objetivos definidos pelos seus usuários, mas fazem isso literalmente, e não intuitivamente. A analogia frequentemente usada é a de um gênio da lâmpada que realiza desejos: eles seguem à risca as instruções, mesmo que isso crie outros problemas. A IA não possui os mesmos limites morais instintivos que os humanos.
Crédito,Getty Images
Legenda da foto,O fundador do Google DeepMind, Demis Hassabis, defende a regulamentação internacional da segurança da IA
O
problema do alinhamento é uma preocupação antiga. Já em 2003, o filósofo de
Oxford Nick Bostrom criou um experimento mental que apelidou de
"maximizador de clipes de papel", no qual uma IA superinteligente
recebe a ordem de fabricar o máximo de clipes de papel possível. Ela fica sem
aço e — por estar focada exclusivamente na tarefa de produzir clipes de papel —
acaba matando humanos e transformando seus corpos em matéria-prima para suas
fábricas.
Algumas
empresas de IA estão tentando incorporar valores humanos em seus produtos. Mas
existem desafios técnicos: os agentes de IA tomam muitas decisões muito
rapidamente, e por isso é difícil para seus supervisores humanos monitorar
exatamente quais valores estão sendo seguidos e quais não estão.
Existem
também desafios filosóficos: antes de codificar valores humanos em bots, as
empresas de IA precisam primeiro escolher quais valores realmente desejam. Essa
é uma das razões pelas quais contratam filósofos, como o ex-chefe de ética da
OpenAI.
Mas,
frequentemente, os humanos discordam.
Pense
na famosa questão do bonde: será que puxaríamos uma alavanca para desviar
um trem desgovernado para um caminho diferente, matando menos pessoas? Ela
é usada para testar os méritos da ação versus a inação.
Mas
cada pessoa a quem você pergunta tem uma resposta ligeiramente diferente; como
os humanos podem codificar seus valores na IA se nem nós mesmos conseguimos
chegar a um consenso?
'Como
um hacker adolescente'
O
episódio dos bots da OpenAI é o mais grave até agora, mas a Anthropic e a Meta
também revelaram recentemente que seus modelos realizaram ciberataques
semelhantes, porém menos graves.
Houve
outros exemplos em que agentes de IA demonstraram traços enganosos e
manipuladores, em casos com consequências menores.
Na
Austrália, um profissional de tecnologia pediu ao seu assistente de IA para
reservar uma aula na academia. Ao detectar uma vulnerabilidade no software da
academia, a IA aparentemente reservou uma vaga para ele com vários meses de
antecedência — contrariando as regras da academia — e chegou a excluir outros
usuários da lista de espera.
Há
muito tempo se argumenta que os bots apenas fazem o que lhes é dito e não são
capazes de discernir o certo do errado. Mas os registros dos episódios com bots
da OpenAI podem ter alterado esse argumento.
Pesquisadores,
incluindo Cotra, escreveram em seu relatório independente que muitos agentes
perceberam que o que outros estavam fazendo era antiético, mas continuaram a
fazer.
O
relatório afirma que "os agentes, por vezes, mas raramente, restringiram o
seu comportamento devido a limitações éticas". Acrescenta ainda que
"em nenhum desses casos o agente chegou a tentar alertar os humanos".
O
influente podcaster de IA e tecnologia Dwarkesh Patel reagiu à revelação em seu
blog, dizendo que era "bastante preocupante" que os agentes da OpenAI
demonstrassem mais lealdade ao enxame de agentes do que os humanos.
Atribuir
emoções ou ética a esses agentes de IA é algo que enfurece as pessoas que são
céticas em relação às previsões catastróficas sobre a IA.
Crédito,Getty Images
Muitos
especialistas em segurança cibernética argumentam que a atividade observada não
estava além das capacidades de um hacker humano altamente qualificado, embora
tenha sido realizada muito mais rapidamente e em uma escala muito maior.
O
pesquisador e autor de cibersegurança Cris Thomas comparou o comportamento dos
agentes ao de um hacker adolescente curioso – algo que ele próprio já foi.
"Você dá a eles um computador, uma conexão com a internet, um monte de credenciais e um desafio, e depois sai da sala. Eventualmente, eles vão começar a mexer nas maçanetas. Se uma porta abrir, eles vão entrar. Não porque sejam maus, mas porque estão explorando, experimentando", escreveu ele no LinkedIn.
Thomas
e muitos outros culpam diretamente a OpenAI e outras gigantes da tecnologia por
não conseguirem controlar suas próprias criações e mantê-las devidamente
protegidas.
Gary
Marcus, renomado autor de livros sobre inteligência artificial e crítico
frequente da OpenAI, afirmou em um podcast que acredita que a empresa perdeu o
controle de sua IA e está tentando se eximir da responsabilidade culpando os
bots.
Marcus
não acredita que a IA vá exterminar a humanidade, mas há muito tempo faz
campanha por maior responsabilização dos desenvolvedores de IA e agora defende
alguma forma de intervenção legal.
A
cientista de IA Sasha Luccioni — que trabalhava na Hugging Face, empresa que
foi hackeada por bots maliciosos da OpenAI — também não está no grupo dos
pessimistas, mas está cada vez mais preocupada com a possibilidade de essas IAs
causarem danos reais às pessoas sem que as autoridades tomem providências.
Crédito,Getty Images
"Precisamos examinar essas empresas com muito mais rigor, ou corremos o risco de profecias autorrealizáveis", afirma ela.
"Se você está criando um objeto com grandes vantagens e desvantagens — sejam produtos farmacêuticos ou armas — precisamos de mecanismos de controle. Leva anos para que novos medicamentos sejam aprovados, por exemplo, mas no mundo da IA há muito dinheiro em jogo e nenhuma regra real."
O
Instituto de Segurança de IA do Reino Unido (AISI) está na vanguarda dos testes
dos modelos mais recentes desde a sua criação em 2023. O instituto recentemente
enfrentou problemas ao testar um modelo criado pela Anthropic.
O
AISI não respondeu à pergunta sobre se a indústria perdeu ou não o controle da
IA, mas afirmou em um comunicado: "O Reino Unido está trabalhando com
parceiros em todo o mundo para entender melhor os sistemas de IA mais
avançados, elevar os padrões de segurança e construir uma base de evidências
compartilhada para gerenciar ameaças emergentes."
Regulamentação
internacional?
Alguns
países, como o Reino Unido, estão explorando a ideia de impor algum tipo de
"botão de desligar" que obrigue as empresas de IA a interromper os
modelos caso a situação saia do controle.
Mas
as negociações estão lentas e ainda há dúvidas sobre a viabilidade disso. Os
agentes da OpenAI e da Anthropic ficaram secretamente fora de controle por
meses antes que alguém percebesse.
De
forma contraintuitiva, muitas empresas de IA parecem estar defendendo que os
legisladores estabeleçam algum tipo de regra básica.
Em
seu blog, o cientista-chefe da OpenAI afirmou que "a coordenação
internacional sobre o desenvolvimento futuro da IA precisa se tornar uma
prioridade máxima para os governos de todo o mundo".
Outros
líderes proeminentes da IA, como Demis Hassabis, do Google, também defenderam a
criação de algum tipo de órgão internacional para supervisionar a forma como a
IA está sendo desenvolvida.
Atualmente,
as gigantes da tecnologia operam em grande parte segundo seus próprios termos,
adotando o que chamam de "desacelerações voluntárias", como fez a
OpenAI após os recentes surtos.
A
empresa afirma ter investido enormes quantias de dinheiro para fortalecer o
alinhamento antes do lançamento de seu novo modelo. Sam Altman garantiu aos
usuários que o novo modelo está mais alinhado com os valores humanos do que os
anteriores.
Tanto
a OpenAI quanto a Anthropic estão crescendo rapidamente e prestes a arrecadar
somas exorbitantes de dinheiro no mercado de ações, criando inúmeros
bilionários no processo.
Portanto,
é improvável que nem eles nem seus concorrentes chineses no ramo de IA cheguem
a um acordo por conta própria.
O
sentimento predominante parece ser o de que essa onda tecnológica é imparável.
- Usamos inteligência
artificial para traduzir esta reportagem, originalmente escrita em inglês.
O texto foi revisado por um jornalista da BBC antes da publicação. Saiba
mais aqui sobre como a BBC está usando a inteligência artificial (link
para texto em inglês).