Levei um algoritmo a tribunal na Suécia. O algoritmo venceu | Charlotte Kronblad

CGostamos de imaginar que a injustiça se anuncia em voz alta. Que quando algo dá errado no sistema público, os alarmes disparam e alguém assume a responsabilidade ou é responsabilizado caso não o faça. Mas em 2020, em Gotemburgo, a injustiça chegou silenciosamente, disfarçada de eficiência.

Pela primeira vez, a cidade utilizou um algoritmo para alocar vagas em suas escolas. Afinal, definir áreas geográficas de abrangência e admissões é uma dor de cabeça administrativa para qualquer município. Nada melhor do que uma máquina para otimizar distâncias, preferências e capacidade? O sistema foi concebido para servir a eficiência pública: enquadrado como neutro, simplificado e objetivo.

Mas algo deu terrivelmente errado. Centenas de crianças receberam vagas em escolas a quilómetros de distância das suas casas – através de rios e fiordes, ao longo de grandes autoestradas, em bairros que nunca tinham visitado e com os quais não tinham qualquer ligação. Os pais encararam as decisões sem acreditar. Alguém verificou se um garoto de 13 anos poderia razoavelmente percorrer esse caminho no inverno? Que justificativa orientou essas decisões? Suas preferências declaradas foram simplesmente ignoradas? Ninguém na administração escolar parecia capaz – ou disposto – a explicar o que tinha acontecido ou a resolver os erros.

Observei isso acontecer como pesquisadora em tecnologia e ex-advogada, mas também como mãe. Meu filho de 12 anos estava entre as crianças afetadas pelo algoritmo. Nossa frustração cresceu com a falta de resposta da administração escolar. Calmamente, eles nos disseram que poderíamos recorrer caso tivéssemos algum problema com nossa colocação – como se fosse uma questão de gosto. Como se o problema se devesse à insatisfação individual e não ao mau funcionamento sistêmico. Em torno das mesas das cozinhas por toda a cidade, a mesma confusão e raiva ferviam. Algo estava errado e a gravidade do problema estava se tornando cada vez mais clara.

Foi quase um ano antes auditores da cidade confirmaram o que muitos de nós suspeitávamos; o algoritmo recebeu instruções erradas. Ele calculou as distâncias “em linha recta”, e não as distâncias dos percursos pedestres reais. Gotemburgo tem um grande rio que passa por ela. A falha em levar isso em consideração significava que as crianças enfrentavam deslocamentos de uma hora. Chegar à margem oposta do rio a pé ou de bicicleta (como estipula a lei é a forma adequada de chegar à escola) simplesmente não era possível para muitos.

Depois de um clamor das famílias os procedimentos foram melhorados para o ano letivo seguinte. Mas para cerca de 700 crianças já afetadas pelo algoritmo defeituoso, nada mudou. Eles passariam todos os anos do ensino fundamental nas escolas “erradas”.

A linha oficial era que os recursos individuais eram suficientes. Mas isso perde o foco. Os algoritmos não tomam apenas decisões isoladas; eles geram sistemas de decisões. Quando 100 crianças são mal colocadas em escolas da margem oposta do rio, elas ocupam os lugares destinados a outros. Conseqüentemente, essas crianças são empurradas para escolas diferentes, deslocando outras, por sua vez. Como dominós, os erros se espalham em cascata. No quinto ou sexto deslocamento, a injustiça torna-se quase impossível de detectar, e muito menos de contestar e provar em tribunal.

A injustiça algorítmica resultante não é um problema abstrato, nem um problema específico do contexto sueco, mas ecoa dolorosamente os escândalos recentes em toda a Europa. Um é o Escândalo dos Correios no Reino Unidoonde o sistema Horizon IT acusou falsamente centenas de operadores de correios de roubo, levando a processos, falências e até prisão. Durante anos, o resultado do sistema foi tratado como quase infalível. O testemunho humano foi submetido à autoridade da máquina. Outro exemplo é o escândalo de benefícios de assistência infantil na Holanda, onde um sistema implantado pela autoridade fiscal holandesa sinalizou erroneamente milhares de pais como fraudadores. As famílias mergulharam em dívidas. Muitos perderam suas casas. As crianças foram levadas para um orfanato. Em ambos os casos, as disfunções algorítmicas continuaram durante muitos anos, enquanto os sistemas automatizados funcionavam por trás de um véu de complexidade técnica e de defesa institucional. Os erros se multiplicaram. O dano se aprofundou. A responsabilização ficou atrasada.

De volta a Gotemburgo, em 2020, tornou-se claro para mim que simplesmente recorrer contra a colocação do meu filho não seria suficiente. Não é possível corrigir um erro sistémico através de reparação individual. Então, como parte de um projeto de pesquisa, processei a cidade para ver o que acontece quando os algoritmos são levados a tribunal. Assim, não contestei a colocação individual do meu filho mas sim a legalidade de todo o sistema de tomada de decisão e de todos os seus resultados. Argumentei que o design do algoritmo violava a legislação aplicável.

Na falta de acesso ao sistema, uma vez que os meus repetidos pedidos de divulgação do algoritmo ficaram sem resposta, não pude apresentar o algoritmo ao tribunal. Em vez disso, conduzi uma análise meticulosa de centenas de colocações, usando endereços e escolhas escolares para reconstruir como o sistema deve ter funcionado, e forneci isso como prova.

A defesa da cidade era incrivelmente simples. Alegaram que o sistema de tomada de decisão funcionou apenas como uma “ferramenta de apoio”. Segundo eles, não fizeram nada de errado e não forneceram provas para apoiar a alegação: nenhuma documentação técnica, nenhum código, nenhuma explicação dos seus processos.

E, para minha surpresa, eles não precisaram. O tribunal colocou o ônus da prova diretamente sobre mim. Era minha responsabilidade, disseram os juízes, demonstrar que o sistema era ilegal. A análise das decisões não foi suficiente. Sem evidências diretas do código, não poderia atingir o limite probatório. O caso foi arquivado. Em outras palavras: prove o que está na caixa preta ou perca.

Isto, mais do que a falha administrativa inicial, é o que me mantém acordado à noite. Sabemos que os algoritmos às vezes falham. É precisamente por isso que temos tribunais – para obrigar à divulgação, para examinar e corrigir. Mas quando os quadros processuais permanecerem teimosamente analógicos e quando os juízes não tiverem as ferramentas, a competência e o mandato para interrogar os sistemas algorítmicos, a injustiça prevalecerá. Enquanto as nossas autoridades públicas implementam sistemas opacos em grande escala, os cidadãos, confrontados com resultados que alteram as suas vidas, são instruídos a apelar – um por um – sem acesso ao código subjacente.

As lições dos correios e dos escândalos dos benefícios infantis holandeses reflectem o que descobri em Gotemburgo. Quando os tribunais se submetem à tecnologia em vez de a interrogarem, e quando o ónus da prova recai sobre os prejudicados e não sobre aqueles que conceberam e implementaram o sistema, a injustiça algorítmica não só aparecerá, como poderá prolongar-se durante anos. Mesmo que a tecnologia em si seja relativamente simples, como em Gotemburgo – onde o erro residiu na utilização da distância panorâmica em vez dos percursos pedestres reais, os cidadãos ainda eram confrontados com uma caixa negra que tinha de ser descoberta para contestá-la. Neste caso: uma caixa de vidro coberta com múltiplas camadas de papel de embrulho preto.

É hora de exigir que nossos tribunais abrir as caixas pretas da tomada de decisão algorítmica. Precisamos transferir o ónus da prova para a parte que realmente tem acesso ao algoritmo e conceber regras processuais para uma reparação sistemática eficaz. Até adaptarmos os nossos procedimentos legais às realidades da sociedade digital, continuaremos a tropeçar de escândalo em escândalo. Quando a injustiça é transmitida por código quase em silêncio, a responsabilização deve responder no volume máximo.