Acontece que se você pedir a uma IA para interpretar um especialista, ela se tornará menos confiável

você provavelmente já viu a dica flutuando: diga à IA para agir como um especialista em um campo, e você obterá melhores respostas. É um conselho popular e às vezes funciona. No entanto, um novo estudo sugere que usar personas de IA pode não ser tão eficaz quanto pensávamos que seria.

Pesquisadores da Universidade da Califórnia testaram 12 personas diferentes em seis modelos de linguagem. As personas variavam de especialistas em matemática e codificação a escritores criativos e monitores de segurança. O objetivo era descobrir o desempenho da IA ​​quando é instruída a atuar como especialista.

Os resultados foram mistos. Adotar uma persona fez com que IA pareça mais profissional e siga melhor as regras. Mas também tornou a IA pior na recordação de factos. De acordo com o estudo, usar uma persona de IA muda-a para um modo de seguimento de instruções, em vez de um modo de recuperação de conhecimento, e essa compensação custa precisão.

Qual é a solução?

Para resolver esse problema, os pesquisadores desenvolveram o PRISM, que significa Persona Routing via Intent-based Self-Modeling. Em vez de sempre usar uma persona ou nunca usar uma, o PRISM ensina a IA a decidir o que é melhor para si mesma.

Quando você faz uma pergunta, o PRISM gera duas respostas: uma do modo padrão e outra da persona. Em seguida, ele compara os dois e fornece a resposta com melhor desempenho para uma consulta específica.

A resposta do especialista não é descartada mesmo quando a resposta padrão vence. Em vez disso, o estilo de raciocínio é salvo em um componente leve chamado adaptador LoRA, que o IA pode desenhar mais tarde, quando necessário. A solução parece simples, mas é eficaz.

Como foi o desempenho do PRISM?

O PRISM aumentou a pontuação geral da IA ​​em um a dois pontos no MT-Bench, um teste que mede o quão bem uma IA segue as instruções e permanece útil. Para tarefas de redação e segurança, as personas ajudaram. Para questões de conhecimento bruto, pular a persona provou ser a melhor opção.

O pesquisadores planejam testar PRISM com mais personas e refinar sua capacidade de fornecer melhores respostas. Ainda é cedo, mas isso pode mudar para sempre a forma como ativamos a IA.