Discriminação algorítmica de gênero pelo tratamento automatizado de dados.

Com a chegada da denominada sociedade da informação ou era do big data, a economia e a sociedade têm vivenciado incontáveis modificações decorrentes do desenvolvimento de novas TICs (tecnologias de informação e comunicação).

O processamento e o tratamento de dados de forma automatizada têm sido uma prática cada vez mais usual e utilizada para os mais variados fins: desde a contratação de empregados ao aumento de desempenho de gestão e produtividade das empresas.

Da análise do contexto histórico, questões de gênero acabam sendo profundamente impactadas e agravadas pelo tratamento de dados e pelo uso de inteligência artificial.

Todavia, em que pese a existência de legislação direcionada ao tratamento de dados (LGPD), apenas a letra da lei não é suficiente para corrigir a discrepância histórica, que tende a ser perpetuada sem as devidas correções, violando direitos humanos e fundamentais, imbricados na dignidade humana, como o da não discriminação e da igualdade, bem como o da privacidade.

A inteligência artificial surgiu de maneira modesta e foi se sofisticando com o decorrer dos anos, na medida em que foi crescendo a complexidade dos problemas que necessitavam ser resolvidos e com o aumento significativo do volume de dados que passaram a circular em sociedade.

A automação surgiu da necessidade de que as máquinas pudessem evoluir e “aprender” por meio de experiências passadas uma hipótese ou função capaz de resolver determinado problema1. Este processo recebeu o nome de aprendizado da máquina 2.

Nesse contexto, é preciso destacar o cerne deste estudo, pois, para que a máquina aprenda, é necessário que dados sejam lançados em sua plataforma, de forma a alimentar seu conhecimento.

E já, neste início, antecipam-se as seguintes perguntas: quem é o responsável por inserir tais dados em determinada plataforma? Qual diferenciação ou estudo é feito sobre estes dados?

Luta das mulheres

Vale lembrar que ao longo de décadas, mulheres tiveram que lutar para serem inseridas em todos os espaços sociais e de poder, destacando-se os de conhecimento científico por afinidade ao tema tratado.

Infelizmente, essa exclusão não teve suas estruturas modificadas na atualidade, uma vez que ainda se mantém essa realidade discriminatória em relação ao gênero e a participação efetiva feminina não cresceu a ponto de evitar que o tratamento desigual continuasse existindo, haja vista que a área tecnológica é majoritariamente dominada por homens desde sua origem.

Dessa forma, vários desdobramentos da realidade discriminatória inerentes ao contexto da produção tecnológica e científica são refletidos na exclusão e no tratamento diferenciado dos dados apurados, ocasionando repercussões negativas em relação ao gênero feminino.

Outrossim, a falsa ideia de eliminação de vieses, trazida com as TICs ajudou na adesão à tomada de decisões de forma automatizada, pois se permitiria com o uso desta tecnologia acabar com critérios subjetivos da mente humana para tomada de decisões. Ocorre que, infelizmente, a extinção de vieses não é a realidade atual, pois já existem estudos robustos e consensos internacionais no sentido de que nao há neutralidade algorítmica.

Sob o rótulo de equações matemáticas, despersonalizadas, ocorrem inúmeras violações de direitos humanos e opressões a partir do uso das tecnologias digitais.

Citamos, por exemplo, um caso emblemático no qual ilustra a conduta não só misógina como racista devido ao uso de:

“Ferramentas de pesquisa em conjunto com algoritmos de ranqueamento de sites e imagens, como o Google Search e Google Images, respectivamente, foram acusadas de racismo algorítmico após inumeros casos de recomendação de sites pornôs quando se pesquisava por “meninas negras”. O caso foi classificado pela empresa como lapso não intencional e posteriormente o erro foi corrigido. A resposta evasiva do Google a essas acusações ilustra um comportamento relutante em reconhecer que seus algoritmos possam precisar de mudanças para não discriminarem grupos específicos.” [3]

Outro caso de grande repercussão ocorreu com a empresa Amazon.com, no caso de recrutamento e seleção de emprego através do uso de machine learning e tomada de decisões automatizadas. Apesar de o caso ter se tornado famoso, exemplificamos aqui, como a inserção de dados humanos pode acarretar em atos discriminatórios.

No ano seguinte, após o vazamento da informação, a empresa reconheceu que o sistema promovia uma conduta sexista. Isto porque, uma das formas de treinamento da IA era a análise de curriculos de um banco de dados de dez anos, que em sua maioria eram formados por homens, fato que fazia a IA reconhecê- los como as melhores opções. Ao analisar os documentos e encontrar o termo “mulher”, havia o descarte da candidata.

Uso de IA está cada vez mais presente

Cientes estamos de que a prática de uso de IA para seleção e recrutamento está cada vez mais presente quiçá sendo hoje majoritária. O caso Amazon.com, portanto, abriu a caixa de pandora para uma realidade um tanto desalmada.

Outros casos vieram à tona como a Hilton Worldwide Holdings Inc. e a Goldman Sachs Group que, conforme bem sintetizado por Beatriz e Vivian Graminho:

“[…] buscam automatizar partes do processo de contratação de candidatos. A Uber, por exemplo, está testando, nos Estados Unidos, um aplicativo para contratar funcionários temporários, chamado Uber Works. O programa, além de contratar serviços de ciclistas para entregas, também se destina a oferecer mão de obra em serviços como encanadores, empregadas domésticas, vigilantes, comércio e outras dezenas de setores…” ⁴

Como vemos, o people analytics, método de análise de dados e gestão de pessoas, baseado na coleta de dados sobre os empregados, por exemplo, já é uma realidade presente nas empresas e, como toda tecnologia inserida na sociedade, não irá retroceder.

Nesse cenário, de um avanço tecnológico voraz, no qual, na maioria das vezes as pessoas se expõem voluntariamente em redes sociais, sites, aplicativos, vídeos, dentre outros, é urgente encontrar o equilíbrio para o uso das informações privadas, mormente dados sensíveis, e a proteção aos direitos da pessoa humana, sobretudo como já exposto no recorte de gênero.