Anthropic diz que a nova IA de Claude Mythos é muito arriscada para uso público – Nacional

Desenvolvedor de IA Antrópico diz que seu mais recente modelo Claude AI é tão poderoso – e potencialmente perigoso – que não estará disponível para uso pelo público em geral.

Dublado Claude Mythoso software faz parte da família Claude AI, uma inteligência artificial modelo que pode atuar como chatbot e assistente de IA, como ChatGPT e Gemini do Google.

“É um modelo de IA de ponta e tem capacidades em muitas áreas – incluindo engenharia de software, raciocínio, uso de computadores, trabalho de conhecimento e assistência com pesquisa – que estão substancialmente além de qualquer modelo que treinamos anteriormente”, escreveu a Anthropic no cartão de sistema da pré-visualização.

O cartão do sistema também afirma que Claude Mythos “demonstrou poderosas habilidades de segurança cibernética, que podem ser usadas tanto para fins defensivos (encontrar e corrigir vulnerabilidades no código de software) quanto para fins ofensivos (projetar maneiras sofisticadas de explorar essas vulnerabilidades)”.

Foram essas capacidades que fizeram a Anthropic decidir não lançar o software ao público em geral.

“O grande aumento de capacidades de Claude Mythos levou-nos a decidir não disponibilizá-lo ao público em geral. Em vez disso, estamos a utilizá-lo como parte de um programa defensivo de cibersegurança com um conjunto limitado de parceiros.”

A Anthropic cita esses parceiros como “organizações que mantêm importantes infraestruturas de software, sob termos que restringem seu uso à segurança cibernética”.

São estes tipos de tecnologias que Branka Marijan, investigadora sénior do Project Ploughshares, diz que devem ser monitorizadas com cautela.

“As implicações para a segurança cibernética e para a segurança nacional mais ampla que estão sinalizando, não creio que sejam hipotéticas”, disse ela. “Acho que existem preocupações reais às quais deveríamos prestar mais atenção agora.”

Daniel Escott, CEO da Formic AI, disse que a Anthropic está “escolhendo conscientemente” não libertar Claude Mythos.

“O argumento deles contra liberá-lo do público em geral é que os mesmos sistemas, funcionalidades e capacidade para proteger a infraestrutura usando este sistema de IA poderiam igualmente ser usados ​​para atacar a mesma infraestrutura”, disse ele.

No entanto, ele também disse que “não se enganaria” de que “alguém terá acesso a [Claude] Mito.”

“A Anthropic está fazendo suas próprias escolhas sobre a quem está disposta a dar acesso a este sistema. Mas, ao mesmo tempo, imagino que esses parceiros provavelmente estejam dizendo ‘você só pode vender para nós’, talvez para um conjunto limitado de outras entidades, mas eles não querem que todos tenham acesso aos mesmos tipos de tecnologia”, disse ele.

“E se a Anthropic não for vender para eles, outra pessoa irá desenvolvê-lo e vendê-lo.”

Escott também alertou que o cartão do sistema Anthropic em Claude Mythos deveria ser considerado “com cautela”.

“Com base na documentação, parece que eles treinaram isso em uma combinação de conjuntos de dados de código aberto que usaram para todos os outros modelos da Anthropic”, disse ele.

“Isso não é diferente do que o ChatGPT ou o Microsoft Co-Pilot estão fazendo, onde eles estão apenas coletando, alguns diriam, roubando, informações de toda a Internet e colocando tudo em um grande conjunto de dados no qual eles podem treinar.”

Marijan disse que gostaria de ver “mais clareza do Antrópico e essas outras empresas sobre o quão preocupante isso é pelo que estão nos contando.”

“É absolutamente preocupante”, disse ela. “Isso está minando todas essas salvaguardas que as empresas possam ter em vigor.”

Moshe Lander, professor de economia da Concordia University, disse que não divulgar Claude Mythos ao público ainda permite que possíveis falhas sejam corrigidas sem afetar os usuários.

“Se alguma empresa farmacêutica está desenvolvendo um medicamento e diz, por enquanto, ‘não o estamos liberando para uso público’, há algo de errado com isso? Eu diria, na verdade, que provavelmente isso é culpa”, disse ele.

“Se a empresa está dizendo, ‘olha, nunca vamos colocá-lo em uso público’, isso é algo diferente. O que eles estão dizendo é ‘agora estamos colocando-o em uso público’, acho que isso é ser extremamente responsável, vamos ver como essa coisa vai ser usada. Vamos ver onde estão seus defeitos”, disse ele.

“Se eles descobrirem que há pontos fracos, que têm a capacidade de se corrigir ou corrigir quaisquer falhas, isso pode não ser uma coisa ruim.”

Subsistem questões significativas em todo o mundo, incluindo no Canadá, sobre o que será necessário para os governos regulamentarem a IA e fornecerem quadros jurídicos para a sua utilização.

Lander também disse que a preocupação inicial com o fato de os sistemas de IA não serem liberados imediatamente levantará questões para muitos, sem respostas fáceis.

“Acho que porque as pessoas geralmente estão preocupadas com a IA em geral, quando ouvimos que há um produto de IA que está surgindo e que não está disponível para uso público, apertamos o botão de pânico e dizemos: ‘espere um segundo, algo não parece certo aqui’”, disse ele.

“Antes que eles [Anthropic] colocá-lo em uso público, eles querem ter certeza de que não cairá em mãos erradas, onde as pessoas talvez tenham intenções desonrosas e que possa ser usado para prejudicar a sociedade, uma vez que tenham estabelecido os protocolos ou salvaguardas que precisamos implementar.”

Em janeiroo Centro Canadense de Segurança Cibernética (Cyber ​​Centre) divulgou seu perspectivas de ameaças de ransomware para 2025-27, afirmando que com o crescimento da IA, “estas ameaças tornaram-se mais baratas e rápidas de conduzir e mais difíceis de detectar”.

Como resultado, inúmeras organizações canadenses, empresas “independentemente do tamanho ou setor” e indivíduos são suscetíveis a ataques de ransomware. No entanto, descobriu-se que “infraestruturas críticas e grandes corporações” são os principais alvos das atividades de ransomware.

O relatório descobriu que o número relatado de incidentes de ransomware aumentou em média 26% ano após ano, de 2021 a 2024.

Além disso, constatou-se também que os custos totais de recuperação associados a incidentes de cibersegurança custaram 1,2 mil milhões de dólares em 2023, duplicando o custo anterior de 200 milhões de dólares de 2019 a 2021.

No entanto, Marijan acredita que deveria haver mais protocolo para as empresas utilizarem essas ferramentas.

“Penso que isto aponta realmente para esta clara lacuna na governação, onde temos empresas que decidem o que consideram ser preocupante. Deveríamos realmente ter processos”, disse ela.

“O que vimos na última década é um aumento nos ataques de ransomware […] e isso afeta a todos nós. Então, quando você pensa sobre “quais são as implicações disso”, elas também são muito significativas para as pessoas comuns.

“Portanto, estamos absolutamente no espaço onde essas empresas estão decidindo essencialmente o que consideram ser preocupações ou sinalizando-as. E não há nenhum processo em vigor para isso, para que quaisquer barreiras de proteção realmente apareçam.”