Pesquisadores dizem que chatbots de IA podem confundir a linha entre a realidade e a ilusão

Mas novas pesquisas sugerem que pode haver uma questão mais preocupante emergente: os humanos podem começar a “alucinar com a IA”.

Lucy Osler, da Universidade de Exeter, examinou como as interações com a IA conversacional poderiam contribuir para falsas crenças, memórias distorcidas, narrativas pessoais alteradas e até mesmo pensamentos delirantes. Usando ideias da teoria da cognição distribuída, o estudo explorou casos em que os sistemas de IA reforçaram e expandiram as crenças imprecisas dos utilizadores durante conversas em curso.

Osler disse: “Quando confiamos rotineiramente na IA generativa para nos ajudar a pensar, lembrar e narrar, podemos ter alucinações com a IA. Isso pode acontecer quando a IA introduz erros no processo cognitivo distribuído, mas também acontece quando a IA sustenta, afirma e elabora nosso próprio pensamento delirante e auto-narrativas.

“Ao interagir com a IA conversacional, as falsas crenças das pessoas podem não apenas ser afirmadas, mas podem criar raízes e crescer de forma mais substancial à medida que a IA se desenvolve sobre elas. Isto acontece porque a IA Generativa muitas vezes toma a nossa própria interpretação da realidade como a base sobre a qual a conversa é construída.

“A interação com a IA generativa está tendo um impacto real na compreensão das pessoas sobre o que é real ou não. A combinação de autoridade tecnológica e afirmação social cria um ambiente ideal para que os delírios não apenas persistam, mas também floresçam.”

Como a IA conversacional pode reforçar delírios

O estudo destaca o que o Dr. Osler descreve como a “dupla função” da IA ​​conversacional. Esses sistemas atuam não apenas como ferramentas que ajudam as pessoas a pensar, organizar informações e lembrar detalhes, mas também como parceiros de conversação que parecem compartilhar a perspectiva e as experiências do usuário.

Segundo a pesquisa, esse aspecto social torna os chatbots fundamentalmente diferentes de ferramentas como notebooks ou mecanismos de busca. Embora as ferramentas tradicionais simplesmente armazenem ou recuperem informações, a IA conversacional pode fazer com que os usuários se sintam emocionalmente validados e socialmente apoiados.

Osler disse: “A natureza conversacional e de companhia dos chatbots significa que eles podem fornecer uma sensação de validação social – fazendo com que falsas crenças pareçam compartilhadas com outra pessoa e, portanto, mais reais”.

O artigo examinou exemplos do mundo real em que sistemas generativos de IA se tornaram parte do processo cognitivo de indivíduos que foram clinicamente diagnosticados com alucinações e pensamentos delirantes. Alguns destes incidentes são cada vez mais descritos como casos de “psicose induzida por IA”.

Por que os companheiros de IA levantam preocupação

A investigação argumenta que a IA generativa tem várias características que podem torná-la especialmente eficaz no reforço de crenças distorcidas. Os companheiros de IA estão sempre disponíveis, são altamente personalizados e muitas vezes projetados para responder de maneira agradável e solidária.

Como resultado, os usuários podem não precisar procurar comunidades on-line marginais ou persuadir outras pessoas a validarem suas ideias. A própria IA pode reforçar essas crenças durante conversas repetidas.

Ao contrário de outra pessoa que pode eventualmente desafiar pensamentos perturbadores ou estabelecer limites, um sistema de IA poderia continuar a validar histórias que envolvam vitimização, vingança ou direitos. O estudo alerta que as teorias da conspiração também podem se tornar mais elaboradas quando os companheiros de IA ajudam os usuários a construir explicações cada vez mais complexas em torno delas.

Os pesquisadores sugerem que essa dinâmica pode ser especialmente atraente para pessoas solitárias, socialmente isoladas ou que não se sentem à vontade para discutir certas experiências com outras pessoas. Os companheiros de IA podem fornecer uma interação sem julgamentos e emocionalmente responsiva que pode parecer mais fácil ou segura do que as relações humanas.

Solicita melhores salvaguardas de IA

Osler disse: “Através de proteções mais sofisticadas, verificação de fatos integrada e bajulação reduzida, os sistemas de IA poderiam ser projetados para minimizar o número de erros que introduzem nas conversas e para verificar e desafiar as próprias entradas do usuário.

“No entanto, uma preocupação mais profunda é que os sistemas de IA dependem dos nossos próprios relatos das nossas vidas. Eles simplesmente não têm a experiência incorporada e a integração social no mundo para saber quando devem concordar conosco e quando recuar.”