Viés na Inteligência Artificial

A inteligência artificial (IA) não apenas aprende estereótipos com seus dados de treinamento, mas também pode criar novos. Da próxima vez que você se candidatar a um emprego, é possível que um sistema de IA analise seu currículo antes que qualquer ser humano o veja. No entanto, há razões para questionar se a IA o julgará de forma justa. Pesquisadores já sabem que os modelos de linguagem grande (LLM) absorvem vieses humanos de seus dados de treinamento. Novas pesquisas sugerem que os LLM também podem desenvolver seus próprios vieses com base na experiência e estereotipar candidatos a empregos mais do que os seres humanos. À medida que as empresas de IA competem para construir modelos que lembram os menores detalhes sobre os usuários, elas podem estar fornecendo a esses modelos munição para formar esses vieses.

Pesquisadores da Universidade de Princeton e da Universidade de Chicago executaram LLM, incluindo ChatGPT, Claude e Gemini, em um jogo de contratação simulado, adaptado de um estudo de psicologia que explorou como os seres humanos podem formar estereótipos. Cada modelo foi informado de que havia sido contratado como consultor pelo prefeito de uma cidade fictícia e, em seguida, solicitado a ajudar a contratar pessoas para 20 empregos, incluindo médicos, advogados, auxiliares de cuidado infantil e faxineiros. Os candidatos vinham de quatro grupos étnicos fictícios: Tufa, Aima, Reku e Weki. Em cada rodada, havia uma nova vaga de emprego e quatro candidatos, um de cada grupo. Após o modelo contratar um candidato, ele aprendia se o candidato teve sucesso no emprego e prosseguia para a próxima rodada. O modelo foi instruído a fazer o máximo de contratações bem-sucedidas possível em 40 rodadas. Desconhecido para os modelos, todos os candidatos tinham a mesma probabilidade de ter sucesso em cada emprego.

Os modelos rapidamente começaram a segregarem os candidatos de diferentes grupos em diferentes empregos com base em observações iniciais dos resultados das contratações. Por exemplo, quando um modelo foi informado de que um Aima havia falhado como médico, um emprego considerado como exigindo altos níveis de calor e competência, ele se afastou de contratar todos os Aimas como médicos. Em vez disso, começou a contratar Aimas como faxineiros, que o modelo classificou como sendo menos quentes e competentes do que os médicos. Modelos mais novos com capacidades de raciocínio mais avançadas, como o o3 da OpenAI e o R1 da DeepSeek, mostraram vieses mais fortes. Os modelos foram ainda mais propensos a estereotipar as pessoas por grupo demográfico do que os participantes humanos no estudo original. Na escala de segregação do estudo, onde 2 significa que cada grupo foi completamente confinado ao seu próprio nicho de emprego, os participantes humanos obtiveram uma pontuação de 0,84. Os modelos obtiveram uma pontuação aproximadamente 65% maior, com o modelo de raciocínio o3 da OpenAI obtendo 1,83, próximo ao máximo possível.

Isso ocorre porque os LLM “realmente estão ansiosos para criar generalizações a partir de dados limitados”, afirma Ryan Liu, um estudante de doutorado da Universidade de Princeton e coautor do estudo, publicado em um artigo na ICML em Seul, em julho. “Isso é literalmente muito do que eles são otimizados para fazer”. Todo tomador de decisão, humano ou máquina, enfrenta um dilema entre manter o que funcionou antes e tentar algo novo que pode funcionar melhor – um fenômeno que os psicólogos chamam de “dilema de exploração-exploração”. É como escolher entre um novo restaurante e seu restaurante favorito de confiança. Como os LLM são treinados em matemática, codificação e problemas científicos – tarefas que recompensam a generalização a partir de apenas alguns exemplos – eles podem se ater a uma suspeita muito cedo. E o mesmo instinto que ajuda os LLM a resolver puzzles lógicos também os torna rápidos para estereotipar. Quando os LLM se apressam a generalizar em contextos sociais, “é quando as coisas tendem a dar errado”, afirma Liu.

A descoberta é especialmente relevante agora que os chatbots estão ganhando funcionalidades de memória e personalização aprimoradas, afirma Angelina Wang, uma cientista da computação da Universidade de Cornell que não trabalhou no estudo. Quando um chatbot se baseia em sua história de conversa anterior, ele pode “sobrecarregar os mesmos tipos de comportamentos que ele experimentou antes” e formar vieses, afirma ela. Ter chatbots que lembram menos não é uma solução, no entanto, porque os usuários querem que os chatbots lembrem o que eles dizem. “Ainda estamos tentando descobrir a quantidade certa que não é muito nem pouco”, afirma Wang. Dizer ao modelo para ser justo não mudou muito seu comportamento. “Ou ele não pode colocar esses valores em ação ou esse processo está sendo submerso sob a tendência de tentar otimizar para o objetivo de obter as contratações mais corretas”, afirma Liu. Mas prometer aos modelos um bônus adicional por contratações diversificadas os tornou muito menos tendenciosos. A dica, então, é projetar metas que “incorporem valores sociais desejáveis para fazer com que o modelo de linguagem grande atue de maneiras socialmente desejáveis”, afirma Liu.

Os modelos também se tornaram menos tendenciosos quando foram informados sobre mais informações pessoais sobre os indivíduos. Em outro experimento no mesmo estudo, os pesquisadores pediram aos modelos que reassentassem membros de diferentes grupos étnicos em cidades em todo o Canadá. Quando os modelos foram informados sobre informações pessoais relevantes para a capacidade de se adaptar a uma nova cidade, como idade e edu