Anthropic se une a seus rivais para impedir que a IA invada tudo

Após revelações vazadas no final de março que Antrópico tive desenvolvido um novo e poderoso Cláudio modelo, a empresa formalmente anunciado Mythos Preview na terça-feira, juntamente com notícias de um consórcio da indústria que ele convocou, conhecido como Projeto Glasswing, para lidar com as implicações de segurança cibernética do novo modelo e avançar capacidades de forma mais geral em todo o campo de IA.

O grupo inclui Microsoft, Maçãe Google assim como Amazon Web ServicesFundação Linux, Cisco, NvidiaBroadcom e mais de 40 outras organizações de tecnologia, segurança cibernética, infraestrutura crítica e financeiras que terão acesso privado ao modelo, que ainda não está sendo divulgado de forma geral. A ideia, em parte, é simplesmente dar aos desenvolvedores das plataformas tecnológicas fundamentais do mundo tempo para ativar o Mythos Preview em seus próprios sistemas, para que possam mitigar vulnerabilidades e explorar cadeias que o modelo desenvolve em ataques simulados. De forma mais ampla, a Anthropic enfatiza que o objetivo de convocar o esforço é iniciar a exploração urgente de como as capacidades de IA em toda a indústria estão à beira, diz a empresa, de derrubar as atuais práticas de segurança de software e defesa digital em todo o mundo.

“A verdadeira mensagem é que não se trata do modelo ou do Antrópico”, disse Logan Graham, líder da equipe vermelha de fronteira da empresa, à WIRED. “Precisamos nos preparar agora para um mundo onde esses recursos estarão amplamente disponíveis em 6, 12, 24 meses. Muitas coisas seriam diferentes em relação à segurança. Muitas das suposições sobre as quais construímos os paradigmas de segurança modernos podem ser quebradas.”

Modelos desenvolvidos e treinados por várias empresas têm sido cada vez mais capazes de encontrar vulnerabilidades no código e propor mitigações-ou estratégias de exploração. Isto cria uma próxima geração do clássico jogo de gato e rato da segurança, no qual uma ferramenta pode ajudar os defensores, mas também pode alimentar maus atores e facilitar a realização de ataques que antes eram demasiado caros ou complexos para serem práticos.

“A prévia de Claude Mythos é um salto particularmente grande”, disse o CEO da Anthropic, Dario Amodei, na terça-feira em um vídeo de lançamento do Projeto Glasswing. “Não o treinamos especificamente para ser bom em código cibernético. Nós o treinamos para ser bom em código, mas como efeito colateral de ser bom em código, ele também é bom em código cibernético.” Ele acrescenta no vídeo que “modelos mais poderosos virão de nós e de outros. E por isso precisamos de um plano para responder a isso”.

Graham da Anthropic observa que, além da descoberta de vulnerabilidades – incluindo a produção de possíveis cadeias de ataque e provas de conceito – o Mythos Preview é capaz de desenvolvimento de exploração mais avançado, testes de penetração, avaliação de segurança de endpoint, busca por configurações incorretas do sistema e avaliação de binários de software sem acesso ao seu código-fonte.

Ao realizar um lançamento escalonado do Mythos Preview, começando com uma fase de colaboração da indústria, Graham diz que a Anthropic procurou basear-se em princípios de divulgação coordenada de vulnerabilidades, o processo de dar aos desenvolvedores tempo para corrigir um bug antes que ele seja discutido publicamente.

“Vimos o Mythos Preview realizar coisas que um pesquisador sênior de segurança seria capaz de realizar”, diz Graham. “Isso tem implicações muito grandes sobre como recursos como esse devem ser lançados. Se feito sem cuidado, isso pode ser um acelerador significativo para os invasores.”

Os parceiros do Projeto Glasswing, incluindo alguns concorrentes da Anthropic, adotaram um tom colaborativo em declarações como parte do lançamento.

“O Google está satisfeito em ver esta iniciativa de segurança cibernética entre setores se unindo”, disse Heather Adkins, vice-presidente de engenharia de segurança do Google, em um comunicado. “Há muito que acreditamos que a IA apresenta novos desafios e abre novas oportunidades na defesa cibernética.”