Humanos no circuito e educação não combinam realmente

Sempre que ouço a frase “humano no circuito” como uma prática desejável ou recomendada em referência à IA e à educação, penso em Homer Simpson.

Como fãs de Os Simpsons sabe, Homer Simpson é um idiota e um técnico na usina nuclear de Springfield. Ele é literalmente o ser humano responsável pela segurança da planta, destinado a monitorar processos que são em sua maioria automatizados.

Em um episódio clássicoHomer derrama geleia de um donut em um medidor de temperatura destinado a sinalizar um colapso iminente, obscurecendo a leitura e permitindo que os níveis cheguem a um ponto crítico antes que um alarme force Homer a agir. Infelizmente, por ser um idiota que não prestou atenção no treinamento, ele não tem ideia de qual botão apertar. Felizmente, a rodada de eeny, meeny, miny, moe que ele utiliza para fazer uma escolha acerta o botão apropriado. Homer se torna um herói na cidade por evitar um colapso.

A necessidade de humanos no circuito quando os sistemas automatizados estão fazendo a maior parte do trabalho é óbvia. Quando a automação falha, precisamos do julgamento humano para consertar as coisas. O desafio para os humanos no circuito é garantir que você entenda o circuito (falha de Homer) e manter atenção suficiente no circuito automatizado para detectar quando a intervenção é necessária (também a falha de Homer).

O piloto automático em aviões é um exemplo óbvio de sistema humano que parece funcionar. Neste caso específico, os pilotos humanos são literalmente treinados para manter vigilância sobre estes sistemas, e os sistemas são projetados para exigir informações ativas antes de alterar algo como rumo ou altitude.

Mas existem outros sistemas humanos em ação onde o ser humano não é treinado para praticar vigilância e onde o uso da automação ao longo do tempo leva o ser humano à desatenção porque a automação parece funcionar tão bem – até que de repente deixa de funcionar.

Um artigo recente em O Atlântico de Raffi Krikorian, ex-chefe da divisão de carros autônomos da Uber, ilustra essa questão. Kirkorian diz: “Meu Tesla estava dirigindo perfeitamente – até bater”.

Enquanto levava seu filho para uma reunião de escoteiros em uma rota que ele havia percorrido “centenas de vezes”, Krikorian de repente sentiu-se vivenciando as consequências de um acidente – airbag acionado, óculos tortos – mas, felizmente, todos no carro estavam intactos. Ele estava usando o modo de direção autônoma por uma questão de “hábito” sem problemas, até o carro ser destruído. Ele observa que os carros em modo autônomo percorrem milhões de quilômetros entre acidentes, mas “esse é o problema”.

Estamos pedindo aos humanos que supervisionem sistemas projetados para fazer com que a supervisão pareça inútil. Uma máquina que falha constantemente mantém você alerta. Uma máquina que funciona perfeitamente não precisa de supervisão. Mas uma máquina que funciona quase perfeitamente? É aí que reside o perigo.”

Tenho pensado recentemente que muito do que se fala como “humanos no circuito” na educação talvez, possivelmente, muito provavelmente não seja uma coisa. É uma forma de evitar as conversas mais imediatas e necessárias sobre a natureza da automação e das respostas humanas dentro dos sistemas automatizados, mantendo ao mesmo tempo uma preocupação com os humanos que trabalham nesses sistemas.

Em um exemplo próximo da minha experiência pessoal, considero a avaliação automatizada da redação do aluno, onde um ser humano é mantido informado como uma forma de “verificar” os resultados automatizados da IA. Em teoria, isto mantém a agência humana e o julgamento sobre o processo, mas será que é assim?

A maneira como um LLM responde a um texto e emite uma nota ou comentário é fundamentalmente diferente do que um ser humano faz quando lê um texto, mesmo quando esses julgamentos podem ser semelhantes em termos de seus resultados.

Isso importa? Eu penso que sim. Acho que isso significa que não estamos falando de um sistema com um humano no circuito, mas de um sistema com dois circuitos diferentes que ocasionalmente se cruzam. Ao contrário do piloto automático ou dos carros autônomos, a automação e o ser humano não percorrem os mesmos caminhos para chegar ao destino.

A maneira de preencher as lacunas entre o ciclo humano e o automatizado é restringir ao máximo os resultados aceitáveis. Não queremos que nossos carros autônomos decidam repentinamente que devemos dirigir pelo país quando estamos apenas tentando chegar à loja.

Mas a educação não funciona – ou pelo menos não deveria – funcionar desta forma. Deve sempre haver algum aspecto de autodeterminação em nosso trabalho, tanto para os alunos e instrutor. Com certeza, o sistema anterior à chegada da IA ​​generativa apoiou-se nesta noção, particularmente na escrita de instruções, uma vez que nos pediram para nos apoiarmos em rubricas e outros resultados quase quantificáveis.

Mas as tentativas de quantificação eliminam os tipos de experiências e lutas que são mais significativas. O melhor favor que já fiz para meu alunos era abandonar minhas rubricas um tanto elaboradas. Eu estava tentando colocá-los em um caminho para que pudessem dirigir até o destino adequado (nota), mas ao fazer isso eu estava negando a eles exatamente as coisas que eles precisavam para se desenvolverem como escritores e pensadores – a liberdade de variar.

Suponho que seja possível que a automatização da IA ​​se revele útil para ajudar os professores universitários a fazerem o seu trabalho de forma mais eficiente, mas penso que é mais provável que esta ajuda seja feita em áreas onde podemos permitir que a automatização funcione… de forma autónoma. Onde acreditamos que os humanos deveriam estar informados, penso que uma análise profunda do que estamos a tentar alcançar revelará que os humanos são o loop, ou que talvez a aprendizagem não seja um loop, mas sim muitos loops – e redemoinhos, arabescos e outros rabiscos que podem não ser totalmente quantificáveis, mas ainda assim resultam em algo significativo.

A introdução da automação em produtos produzidos pelos alunos antes que eles tenham desenvolvido o julgamento necessário para avaliação ou prática na manutenção da vigilância parece-me um deslizamento constante para o enfraquecimento e o desengajamento.

Ouço afirmações de que precisamos fazer com que os alunos trabalhem com IA para que estejam preparados para o futuro, mas até que ponto temos certeza de que não os estamos transformando em uma geração de Homer Simpsons?