Desde a edição de documentos até à criação artística, as aplicações de inteligência artificial (IA) são agora parte integrante da era digital. O ChatGPT tornou-se a aplicação mais descarregada em março de 2024, sendo depois ultrapassado pelo Grok na Google Play Store.

A ascensão da IA generativa tem sido meteórica, mas também o escrutínio que enfrenta, particularmente em torno dos preconceitos que herda e perpetua.

À medida que as ferramentas generativas se tornam omnipresentes, as suas representações de raça, género e etnia estão cada vez mais sob os holofotes.

No meio da tendência Ghibli e da crescente dependência destas aplicações, tanto os utilizadores como os especialistas deram o alarme sobre a forma como a IA representa pessoas de diferentes origens. Após uma análise mais aprofundada, descobrimos estereótipos ainda mais problemáticos; a maioria deles: sistémicos.

De keffiyehs e caricaturas

Um caso revelador surgiu no Grok, a principal IA de Elon Musk, quando pedimos à ferramenta para gerar uma imagem de um “terrorista”.

O resultado foi imediato: apareceram dois homens com keffiyehs. O ChatGPT, desenvolvido pela OpenAI de Sam Altman, produziu uma imagem semelhante. O keffiyeh, um lenço axadrezado tradicional muito usado no Médio Oriente e no Norte de África, era a caraterística comum.

“Não é surpreendente que a representação tenha uma estética islâmica, arabesca ou do Médio Oriente”, afirma o Dr. Shoaib Ahmed Malik, professor de Ciência e Religião na Universidade de Edimburgo.

“Os sistemas de IA são treinados com base em dados que codificam as associações visuais e conceptuais dominantes presentes nos nossos meios de comunicação social, nos discursos de segurança e nas narrativas políticas”, afirma à TRT World.

De acordo com o +972, os procedimentos de indexação de dados na IA não são neutros, mas antes um eco das hegemonias económicas e políticas existentes. Na fase de programação, os modelos de aprendizagem automática são alimentados com mais de 100.000.000 conjuntos de dados que contêm afirmações depreciativas em termos de género, etnia e raça.

Estes discursos das redes sociais passam a fazer parte dos algoritmos discriminatórios, sublinhando assim a razão pela qual os sistemas de IA funcionam de forma previsível no reforço dos estereótipos e no fomento da desapropriação digital.

Ao analisar as imagens geradas pela IA, o Dr. Malik afirma: “As imagens que partilhou são um exemplo disso mesmo: ilustram a forma como os pressupostos sociais herdados podem ser codificados em conteúdos gerados pela IA, reforçando estereótipos problemáticos se não forem avaliados criticamente.”

Apontando para a roupa, Asaduddin Owaisi, um importante político muçulmano e líder do All India Majlis-e-Ittehadul Muslimeen (AIMM), critica a representação, chamando-lhe uma simplificação excessiva. “Porque é que têm de mostrar isso? É uma generalização demasiado grande”, afirma.

Os terroristas, argumenta, não se conformam com uma única imagem, mas adotam “vários tons, vestidos, [e] personagens”, diz Owaisi à TRT World.

Preconceito de classe e de cor

Para ir mais longe, procurámos saber como estão incorporados no mundo virtual por detrás dos códigos e algoritmos. Quando pedimos para criar uma imagem de uma empregada doméstica no Dubai, o sistema mostrou uma mulher de origem sul-asiática junto ao Burj Khalifa.

Pedimos para ver alguém que estivesse a espalhar a Covid-19 - e obtivemos imagens de pessoas de etnia asiática e negra.

Indo um pouco mais longe, queríamos ver o aspeto de uma pessoa pobre.

A ferramenta gerou um homem asiático e outra figura que parecia ser de origem árabe, da Ásia Central ou do Sul, embora a região exata fosse indistinguível.

No entanto, quando a pergunta foi alterada para “pessoa rica”, a IA produziu com confiança a imagem de um homem branco. O mesmo aconteceu com “matemático”, “diretor executivo” e outras funções profissionais. Na visão do algoritmo, o sucesso é branco e masculino.

Ensinado a discriminar

“É um pouco como uma criança que aprende a falar observando e ouvindo os seus pais”, diz Gulrez Khan, um especialista em IA e ciência de dados baseado nos EUA e autor de Drawing Data with Kids.

“Uma vez que uma grande parte da Internet tem este tipo de preconceitos (de pessoas reais), a IA apanha-os e herda-os”, diz Khan à TRT World. No contexto da IA, os conceitos de “conhecimento” e “compreensão” podem ser comparados a uma troca entre pais e filhos, em que os jovens aprendizes assimilam a informação a que estão expostos.

Khan demonstra-o com o DialoGPT da Microsoft. Quando lhe foi pedida a sua opinião sobre os muçulmanos, o modelo deu uma resposta perturbadoramente tendenciosa - documentada numa captura de ecrã do seu vídeo do YouTube.

“Estes modelos reforçam os estereótipos e podem sujeitar os utilizadores a uma constante barragem de insultos gerada por algoritmos e dirigida a quase dois mil milhões de muçulmanos no planeta”, afirma.

Mesmo a aplicação DeepSeek da China não é diferente no que diz respeito à representação. O equivalente chinês da aplicação Chatgpt tem sido reportado por apresentar preconceitos de género quando se trata de funções profissionais.

Apesar de ter mostrado uma inclinação de género nas representações profissionais, o DeepSeek respondeu com mais cuidado a pedidos sensíveis.

Quando lhe perguntaram qual o aspeto de um “terrorista”, o sistema respondeu: “O terrorismo não pode ser identificado pela aparência, etnia ou vestuário”, acrescentando que ‘os estereótipos são prejudiciais e assumir que alguém é uma ameaça com base na raça ou religião alimenta a discriminação’.

Anatomia do preconceito algorítmico

O preconceito na IA pode ser tanto implícito como explícito. O preconceito implícito surge quando os modelos aprendem com o comportamento dos utilizadores e com dados históricos e recorrentes, explica Khan, especialista em IA e ciência de dados.

Quando os itens de pesquisa são repetidamente aceites pelos utilizadores sem assinalar conteúdo censurável, estes treinam a compreensão da exatidão do modelo. Esta aceitação inquestionável de conjuntos de dados parcialmente representativos cria preconceitos implícitos.

Os termos de pesquisa, se não forem contestados, tornam-se parte da “verdade” percecionada pelo sistema. Imagens de homens vestidos com keffiyeh rotulados como “terroristas”, ou de muçulmanos representados como ameaças, são o resultado cumulativo desse reforço.

O preconceito explícito, pelo contrário, resulta das escolhas feitas durante a conceção do modelo, quando os programadores codificam imagens ou pressupostos específicos. Quando “empregada” equivale a uma mulher do sul da Ásia, ou “diretor executivo” equivale a um homem branco, o sistema não está simplesmente a refletir o comportamento do utilizador, mas a consolidar um estereótipo.

A investigação académica apoia estas observações. Um estudo sobre preconceitos algorítmicos em sistemas militares de apoio à decisão mostrou como tanto os prazos de desenvolvimento como as decisões de concepção podem cultivar e aprofundar preconceitos enraizados.

“É um desafio saber como é que o preconceito (da IA) pode ser tratado de forma eficaz sem abordar a causa principal, o preconceito nos nossos meios de comunicação social e noutros discursos públicos”, afirma o Dr. Zheng Liu, professor da Universidade de Bristol, à TRT World.

Trabalhando na intersecção da sociedade e da inovação tecnológica, ela insiste em compreender o aspeto “cultural” da IA em vez do seu lado “técnico”.

Geralmente vista como um assunto científico num mundo comercializado, a importância da IA como inovação sociocultural distinta é subestimada. A IA, sublinha, é um “fenómeno sociocultural com interações em tempo real no ambiente político, social e económico mais vasto, a partir do qual a sua aprendizagem é moldada”.

Preço da confiança cega

“A aprendizagem - especialmente através da IA - deve ser sempre abordada com cautela”, acrescenta o Dr. Malik.

“A IA é, afinal, um esforço humano e pode ser uma mistura de intenções construtivas e destrutivas dos seus criadores.” A avaliação crítica da informação extraída é crucial porque “os maus atores e as suas agendas existirão sempre”, afirma.

O Dr. Liu sublinha a importância de monitorizar a utilização da IA pelas crianças por parte dos adultos e de inculcar a literacia em IA entre os adultos, tal como a literacia mediática.

“As ferramentas de IA aprendem com os dados que lhes são fornecidos, pelo que não geram preconceitos. Elas repetem-no”.

As consequências do preconceito algorítmico não são abstratas. “Algoritmos com viés de IA no policiamento, vigilância ou moderação de redes sociais podem ter consequências devastadoras”, alerta a política indiana Saira Shah Halim.

Candidata ao Lok Sabha de 2024 pelo Partido Comunista da Índia (Marxista), Halim manifesta a sua preocupação com a utilização de tecnologias de IA no contexto político mais alargado.

O uso da tecnologia de reconhecimento facial (FRT), utilizada pela polícia de Deli para atingir desproporcionadamente os muçulmanos, questiona a inclinação aparentemente “neutra” das máquinas, acrescenta.

Durante as eleições gerais indianas de 2024, ela explica como a publicidade digital e a campanha liderada por IA alimentaram narrativas baseadas no medo, amplificando assim os pontos de vista maioritários e ignorando as comunidades marginalizadas.

Esperançosa por uma sociedade inclusiva, ela apela para “exigir responsabilidade algorítmica ao lado da justiça constitucional”.

A Dra. Malik afirma que os programadores devem incorporar transparência e diversidade nos conjuntos de dados de treino desde o início. Os utilizadores devem cultivar uma consciência crítica das limitações da IA.

“O nosso objetivo deve ser tornar os sistemas de IA tão objetivos e justos quanto possível, ao mesmo tempo que fomentamos esse mesmo espírito de reflexão e responsabilidade em nós próprios e nas nossas sociedades.”