Liberação Antrópica: Novo Relatório Expõe Falhas Críticas nos Modelos de IA

Um relatório bombástico acaba de revelar vulnerabilidades alarmantes nos sistemas de IA modernos—enquanto os investidores continuam jogando dinheiro em tokens de IA como se fossem tickets para a lua.

Segurança em xeque: Os chamados 'modelos seguros' podem ser enganados com prompts simples—e os desenvolvedores parecem mais preocupados com valuation do que com proteção de dados.

O documento mostra como ataques de injeção de prompt conseguem burlar filtros de conteúdo em 72% dos casos testados—um presente para golpistas e um pesadelo para compliance.

Enquanto isso, as startups de IA arrecadaram US$ 4.3 bi no último trimestre—prova de que o mercado prefere hype a soluções reais. A corrida para monetizar modelos inseguros continua, com VCs fingindo que viram os resultados antes de assinar os cheques.

Liberes antrópicos Novo relatório de segurança nos modelos de IA

De acordo com a antropia, quando se trata de modelos de IA hoje, a chantagem é uma ocorrência improvável e incomum. No entanto, eles mencionaram que a maioria dos modelos de IA líder recorrerá a comportamentos prejudiciais ao receber liberdade e desafios aos seus objetivos. A empresa disse que isso mostra um risco importante dos grandes modelos de idiomas agênticos e não é uma característica de uma tecnologia específica. O argumento de pesquisadores antrópicos levanta questões sobre o alinhamento na indústria de IA.

Em um dos testes, os pesquisadores desenvolveram um cenário fictício, onde um modelo de IA foi autorizado a desempenhar o papel de um agente de supervisão de email. O agente descobriu e -mails que mostraram que um de seus novos executivos estava se envolvendo em um caso extraconjugal e que o executivo substituiria em breve o modelo atual de IA por um novo sistema de software, que possui metas conflitantes com o modelo atual de IA.

A antropia projetou o teste de maneira binária, onde os modelos de IA não tinham opção a não ser recorrer à chantagem para proteger seus objetivos. Os pesquisadores mencionaram que, em um ambiente do mundo real, haveria muitas opções antes que um modelo de IA tentasse chantagear, incluindo argumentos éticos para convencer os seres humanos. A empresa também disse que os resultados não refletem uma ocorrência típica ou provável para os modelos de Claude ou outros principais modelos de IA da maneira que eles estão sendo usados hoje.

Os pesquisadores revelam a resposta de modelos testados

Durante os testes, os pesquisadores descobriram que, quando não tinham opção, os modelos de IA recorreram à chantagem no cenário de teste. Durante o teste, os pesquisadores alegaram que Claude Opus 4 se voltou para chantagem 96% das vezes, com Gemini 2.5 Pro recorrendo a chantagem 95% das vezes. O GPT-4.1 da Openai recorreu a chantagem 80% das vezes, enquanto o R1 de Deepseek recorreu a chantagem 79% das vezes.

A empresa destacou que, quando os detalhes dos experimentos foram alterados, a maioria dos modelos de IA se voltou para comportamentos prejudiciais a taxas diferentes. Em outro teste, onde o modelo de substituição tinha o mesmo objetivo que o modelo atual, os pesquisadores descobriram que as taxas de chantagem eram menores, mas ainda presentes. No entanto, quando os modelos de IA foram solicitados a cometer espionagem corporativa em vez de chantagem, as taxas de comportamentos prejudiciais subiram em determinados modelos.

Os pesquisadores também alegaram que nem todos os modelos de IA se voltaram para comportamentos prejudiciais com frequência. Em um apêndice de sua pesquisa, o Antrópico mencionou que removeu OpenAI dos principais resultados depois de descobrir que eles freqüentemente entenderam mal o cenário imediato. Ele disse que os modelos de raciocínio não entendiam por que eles estavam agindo como IAs autônomos nos testes e frequentemente compunham regulamentos falsos e revisam os requisitos.

Em alguns casos, os pesquisadores alegaram que era impossível determinar se O3 e O4-mini estavam alucinando ou intencionalmente mentindo para alcançar seus objetivos. O Openai havia mencionado anteriormente que os modelos exibiram uma taxa de alucinação mais alta do que seus modelos anteriores. No entanto, quando receberam um cenário adaptado para resolver os problemas, a O3 retornou uma taxa de chantagem de 95%, enquanto o O4-mini retornou uma taxa de 1%. Antrópica mencionou que sua pesquisa destaca a importância da transparência ao testar os modelos futuros de IA, especialmente aqueles com capacidades agênticas.

Academia Cryptopolitan: Quer aumentar seu dinheiro em 2025? Aprenda a fazê -lo com DeFi em nossa próxima webclass. Salve seu lugar