Rodrigo de Lacerda Carelli no GGN
O episódio Men Against Fire, da série televisiva Black Mirror, disponível na Netflix, mostra um mundo em que seres com faces monstruosas e corpos humanos vivem segregados e são perseguidos e caçados por uma milícia. Peço desculpa ao leitor pelo spoiler necessário, mas descobre-se na sequência do episódio que a população segregada é humana e que no cérebro dos soldados milicianos são implantados chips que fazem com que eles vejam as faces desfiguradas e não os reconheçam como semelhantes, mas sim como “baratas”, como eram chamados, facilitando assim a perseguição e o extermínio. O episódio é baseado em estudo empírico publicado em livro homônimo do episódio escrito em 1947 por S. L. A. Marshall, em que se demonstrou que somente 25% dos combatentes de guerra estadunidenses disparam suas armas em direção aos inimigos e que uma parte considerável dos soldados nunca chegaram a acionar o mecanismo de disparo.
Men Against Fire pode ser visto como alegoria da construção social do preconceito. O preconceito e a discriminação, aos quais se integra a construção imaginária de inimigos por meio de criação de raças e cores como nos mostra Achille Mbembe, são uma construção social. As categorizações são realizadas para causar distinção, e as distinções geralmente são para separar o nós e o eles, privilegiando o primeiro grupo, ao qual são reservados os melhores lugares da sociedade e relegando os outros grupos a lugares menos privilegiados, ou mesmo à sua exclusão da sociedade – em sentido figura ou real.
Quando falamos de discriminação algorítmica, geralmente temos a impressão de que quem discrimina é o algoritmo. Entretanto, um algoritmo, como um conjunto de instruções para a obtenção de determinado objetivo, mesmo associado a qualquer espécie da chamada “Inteligência Artificial”, até na forma de redes neurais, não tem desejos, vontades, não tem nenhum tipo de interesse em causar distinção. Em verdade, a inteligência artificial nem poderia ser considerado como inteligência, pois não teoriza nem dá explicações e, mais do que isso, não defende pontos de vista ou constrói teses justificadoras de seus atos. Assim, não tem objetivos, e se causa discriminação é pelo fato de reproduzir, e às vezes ampliar, as construções sociais de preconceito e discriminação existentes na sociedade – ou mesmo as próprias daqueles que desenham ou são proprietários do algoritmo. O algoritmo busca somente melhor cumprir os objetivos que lhe são assinalados e se para isso tem que reproduzir o preconceito da sociedade ele o fará, a menos que lhe seja determinado expressamente que não o faça.
Quando analisamos a utilização de algoritmos e inteligência artificial nas relações de trabalho percebemos claramente isso. Um algoritmo utilizado em uma relação trabalhista – ou um conjunto de relações com um empregador – é ao mesmo tempo o gerente, o capataz e o regulamento da empresa. Ele é regulamento da empresa, pois contém o conjunto de regras e instruções para organização da atividade, compreendendo as regras para o trabalho. Ele é o gerente, pois toma as decisões gerenciais médias, sempre a partir das decisões gerais traçadas pela diretoria da empresa, que sempre é de carne e osso. E é também o capataz ou encarregado, pois vigia os trabalhadores em relação ao cumprimento do regulamento da empresa, direciona rumo aos objetivos traçados e os pune diretamente (ou indicam isso ao superior hierárquico) caso não cumpram as regras. Tudo sempre, obviamente, sujeito a revisão e à palavra final da direção empresarial.
A Amazon, por exemplo, utiliza em seus centros logísticos um algoritmo com inteligência artificial para coletar e processar dados dos trabalhadores que buscam mercadorias nas longas fileiras de estantes, cronometrando o tempo de cumprimento das funções, calculando as distâncias e determinando as tarefas por eles realizadas. A empresa permite que a tomada de decisão de dispensa de trabalhador que não atinja as metas desejadas pela empresa seja realizada diretamente pelo algoritmo, sem a intervenção do ser humano. Se esse algoritmo dispensar trabalhadoras grávidas ou pessoas acometidas por alguma enfermidade, ou mesmo negros ou mulheres em geral, a discriminação não é realizada pelo algoritmo (nem a dispensa de fato é realizada pelo algoritmo, ele é mero instrumento), que só cumpriu o objetivo (o output) que lhe foi entregue (o input) pela empresa por seu proprietário, por meio de seus diretores (ou por quem tenha o poder de determinar os objetivos do algoritmo). Inclusive se o algoritmo, por meio de aprendizado profundo ou redes neurais, descobrir que mulheres grávidas produzem menos ele indicará a dispensa de todas elas, pois ele faz correlações. Se ele tiver a informação (dado) que a empresa tem essa prática de dispensar grávidas, como se noticia, ele o fará. Se você ensina um cão a atacar para matar e não ensina as exceções, muito provavelmente o cão irá atacar para matar indistintamente. E pelo Código Civil brasileiro o proprietário é responsável pelos atos de seu animal (art. 936).
O tribunal de Bolonha, Itália, condenou por discriminação a empresa Deliveroo, que realiza entrega de alimentação por meio de plataforma digital similar à iFood brasileira. O seu algoritmo Frank foi considerado como instrumento de discriminação. Entendeu a corte que ao realizar sistema de ranqueamento de trabalhadores a partir da sua frequência e produção, destinando aos melhores classificados os melhores horários e ofertas de trabalho, e não prever como exceção a ocorrência de fatores como doença, gravidez ou mesmo participação de greves, a empresa seria responsável pela discriminação desses trabalhadores. Entendeu que a não previsão dessas exceções seria cegueira deliberada, por não considerar as diferenças entre diversos casos e possibilidades, o que comprovaria de pronto a discriminação.
A cidade de Nova Iorque, a partir de janeiro de 2023, colocará em vigor uma lei que trata de ferramentas automatizadas de decisão nas relações de emprego, considerando como tal qualquer “processo computacional, derivado da aprendizagem de máquinas, modelagem estatística, análise de dados ou inteligência artificial” que “emita um resultado simplificado”. A previsão é de que as empresas não poderão utilizar desses instrumentos a menos que haja uma auditoria prévia sobre os vieses de discriminação e os resultados sejam publicados em sua página de Internet. Essa auditoria independente deverá ser refeita a cada ano. Os trabalhadores terão direito a serem informados sobre a utilização do sistema automatizado e o tipo de dados coletados para a ferramenta de decisão de emprego automatizada, a fonte de tais dados e a política de retenção de dados do empregador ou da agência de emprego. Além disso, haverá o direito de pedir um processo alternativo de seleção no lugar do automatizado. E, mesmo assim, os trabalhadores que se sentirem discriminados poderão ajuizar ações para reparação.
No Brasil, não temos norma específica de direito do trabalho, mas pode ser aplicada a Lei Geral de Proteção de Dados Pessoas, conhecida como LGPD, que prevê a revisão de tomada de decisão realizada unicamente pelo sistema automatizado. A norma prevê também é direito receber “informações claras e adequadas a respeito dos critérios e dos procedimentos utilizados para a decisão automatizada, observados os segredos comercial e industrial.”(§ 1º). No caso de não recebimento dessas informações, a autoridade nacional poderá realizar auditoria para verificação de aspectos discriminatórios (§ 2º). Ou seja, os algoritmos de gestão de pessoas devem ser publicizados aos trabalhadores.
O episódio de Black Mirror citado no início deste texto recebeu no Brasil o título de “Engenharia Reversa”. Esse é outro spoiler imprescindível: as pessoas consideradas como “baratas” construíram um equipamento eletrônico que, direcionado para a cabeça dos soldados, ocasionava uma interferência no chip cerebral e os soldados poderiam ver como eles eram realmente – seres humanos como eles -, gerando empatia e impedindo de serem mortos.
O direito, em especial o direito do trabalho, pode ser essa engenharia reversa.
Os juízes podem – e talvez devem – utilizar as auditorias como instrumento de prova em processos para a verificação de vieses discriminatórios. Os algoritmos, como regulamento de empresa, contêm cláusulas contratuais, e segundo o princípio da boa-fé, não pode haver cláusulas contratuais secretas em relação a uma das partes. Os critérios e procedimentos para a decisão automatizada, como nos comanda a LGPD, devem ser informados de maneira clara e adequada aos trabalhadores. Hoje os algoritmos são opacos e as empresas, principalmente aquelas que se autodenominam de plataformas digitais, se negam a abrir os seus critérios aos trabalhadores, em flagrante violação à LGPD.
Mais do que isso: os juízes podem, com base no entendimento de que algoritmos com inteligência artificial são meros instrumentos de organização empresarial, sendo seus atos, portanto, derivados da atividade empresarial e, imputar a responsabilidade nas empresas.
O virtual é mero instrumento de atuação no real. As lesões e discriminações têm seus efeitos aqui, em pessoas de carne e osso com necessidades e sentimentos. Por trás de algoritmos estão sempre pessoas e o algoritmo só está a mando delas. As máquinas só cumprem ordens e realmente não sabem o que fazem. Aqueles que comandam, por outro lado, geralmente sabem o que as máquinas fazem e farão ou simplesmente desejam correr o risco que façam.
Rodrigo de Lacerda Carelli, Procurador do Trabalho na PRT/1, Professor da UFRJ e membro do Coletivo Transforma MP