Tecnologia

A Microsoft diz que seu agente de IA pode se tornar um agente duplo


Microsoft está alertando que a pressa para implantar Agentes de IA pode criar um novo tipo de ameaça interna, o agente duplo da IA. Em seu Relatório Cyber ​​Pulsediz que os invasores podem distorcer o acesso de um assistente ou alimente-o com informações não confiáveise então use esse alcance para causar danos dentro de uma organização.

O problema não é que a IA seja nova. É que o controle é desigual. A Microsoft diz que os agentes estão se espalhando pelos setores, enquanto algumas implantações passam pela análise de TI e as equipes de segurança perdem de vista o que está sendo executado e o que pode tocar.

Esse ponto cego fica mais arriscado quando um agente consegue se lembrar e agir. A Microsoft aponta para uma campanha fraudulenta recente investigada pela equipe do Defender que usava envenenamento de memória para adulterar o contexto armazenado de um assistente de IA e orientar resultados futuros.

Agentes das sombras ampliam o raio da explosão

A Microsoft vincula o risco do agente duplo à velocidade. Quando lançamentos superam a segurança e conformidade, a Shadow AI aparece rapidamente e os invasores têm mais chances de sequestrar uma ferramenta que já tem acesso legítimo. Esse é o cenário de pesadelo.

O relatório enquadra isso tanto como um problema de acesso quanto como um problema de IA. Dê amplos privilégios a um agente e um único fluxo de trabalho enganador poderá alcançar dados e sistemas que ele nunca deveria tocar. A Microsoft promove a observabilidade e o gerenciamento centralizado para que as equipes de segurança possam ver todos os agentes envolvidos no trabalho, incluindo ferramentas que aparecem fora dos canais aprovados.

A expansão já está acontecendo. A Microsoft cita uma pesquisa que descobriu que 29% dos funcionários usaram agentes de IA não aprovados para tarefas de trabalho, o tipo de expansão silenciosa que torna a adulteração mais difícil de detectar precocemente.

Não são apenas avisos ruins

Isso não se limita a alguém digitando a solicitação errada. A Microsoft destaca o envenenamento de memória como um ataque persistente, que pode plantar mudanças que influenciam respostas posteriores e corroem a confiança ao longo do tempo.

Sua AI Red Team também viu agentes serem enganados por elementos de interface enganosos, incluindo instruções prejudiciais ocultas no conteúdo do dia a dia, além de enquadramento de tarefas que redireciona sutilmente o raciocínio. Pode parecer normal. Esse é o ponto.

O que fazer a seguir

O conselho da Microsoft é tratar os agentes de IA como uma nova classe de identidade digital, e não como um simples complemento. O relatório recomenda uma postura Zero Trust para agentes, verifique a identidade, mantenha as permissões restritas e monitore o comportamento continuamente para que ações incomuns se destaquem.

O gerenciamento centralizado é importante pelo mesmo motivo. Se as equipes de segurança puderem inventariar os agentes, entender o que eles podem alcançar e impor controles consistentes, o problema do agente duplo ficará menor.

Antes de implantar mais agentes, mapeie o que cada um pode acessar, aplique o mínimo de privilégios e defina o monitoramento que pode sinalizar a violação de instruções. Se você ainda não consegue responder a esses princípios básicos, diminua o ritmo e corrija isso primeiro.


Source link

Artigos Relacionados

Deixe um comentário

O seu endereço de email não será publicado. Campos obrigatórios marcados com *

Botão Voltar ao Topo