A IA pode vencer os grandes mestres do xadrez, mas não consegue se adaptar aos videogames modernos

Por todo o barulho ao redor IA conquistando o xadrezvá, e agora mesmo na codificação, ainda há uma fraqueza bastante evidente escondida por trás dessas vitórias. A IA ainda é muito ruim em lidar com um novo videogame que nunca viu antes.

O argumento central de um novo artigo da NYU fala sobre como esses marcos que ganharam as manchetes pintaram um quadro enganoso de quão próximas as máquinas estão da verdadeira inteligência geral.

A distinção realmente importa.

Xadrez e Go são conquistas impressionantes, mas são jogos com regras fixas e um ambiente estruturado, em comparação com os complexos videogames modernos. A NYU observa que a IA ainda não dominou a inteligência humana, uma vez que não consegue se adaptar bem.

Onde a IA continua faltando

De acordo com os pesquisadores, muitos dos maiores sucessos da IA ​​em jogos são baseados em sistemas ajustados para um jogo específico. Nesses limites definidos, a IA pode basicamente tornar-se sobre-humana. Mas assim que houver pequenas alterações nas regras ou nos ambientes, o seu impressionante desempenho pode entrar em colapso.

É aqui que entram os videogames como um verdadeiro teste de inteligência. Os jogos não são unidimensionais, muitas vezes exigindo uma vasta gama de habilidades, incluindo raciocínio espacial, planejamento de longo prazo, aprendizagem por tentativa e erro e até intuição social. O relatório afirma que esta variedade torna os jogos uma medida muito melhor de inteligência flexível do que tarefas isoladas de benchmark.

A aprendizagem por reforço e os LLMs atingiram um obstáculo

O artigo de pesquisa acrescenta que o aprendizado por reforço pode produzir resultados impressionantes, mas metas aceitáveis ​​só são alcançadas após milhões ou bilhões de execuções simuladas. Assim, o sistema se torna um especialista na situação exata para a qual foi treinado. Mas tudo isso desmorona quando alguma mudança é introduzida. Mesmo algo tão simples como cores alteradas ou objetos reposicionados em uma tela pode quebrá-la.

LLMs (Large Language Models) também não resolvem isso. A NYU diz que eles têm um desempenho surpreendentemente ruim em jogos desconhecidos. Quando começa a funcionar bem, geralmente ocorre em uma estrutura personalizada específica do jogo para interpretar os estados do jogo, gerenciar a memória e executar ações. Retire esse suporte extra e o desempenho cai rapidamente.

A verdadeira referência

Os pesquisadores argumentam que uma verdadeira IA de jogo precisaria aprender um novo jogo do zero aproximadamente no mesmo tempo que um jogador habilidoso. Talvez dezenas de horas, sem simulação massiva ou exposição prévia. Tudo isso está além das capacidades dos sistemas atuais.

E é por isso que isso é importante além dos jogos. Se a IA não conseguir se adaptar de forma confiável a um videogame totalmente novo, será ainda menos provável que consiga lidar com a imprevisibilidade do mundo real. O xadrez ainda pode ser uma boa manchete, mas os jogos modernos estão mostrando o quão longe a IA ainda precisa ir.