Algotihmic Racism: How Human Prejuduce Affects The Development of New Technologies

Main Article Content

Adani Cusin Sacilotti
Eliana Favero Marcansola
Gabriel Nardo de Oliveira Rando
Helena de Souza Mendonça
Victor Hugo Buriti Silva

Abstract

This article aims to analyze various cases of algorithmic racism reported by several authors, highlighting how human prejudice and racism impact the development of algorithms and, consequently, contemporary technolo-gies such as artificial intelligence. Several documented instances are considered, proving the existence of dis-criminatory behaviors, including racism, sexism, and prejudice, in major technological systems. Additionally, it presents expert opinions indicating that the root of the problem lies not in the technology itself, but in the hu-man behaviors and ideals behind its development. Finally, solutions are proposed to address these issues, ensu-ring that technological innovation is fair, consistent, and accessible to all.

Article Details

How to Cite
SACILOTTI, A. C.; MARCANSOLA , E. F.; RANDO, G. N. de O.; MENDONÇA, H. de S.; SILVA, V. H. B. Algotihmic Racism: How Human Prejuduce Affects The Development of New Technologies. Revista Eletrônica Multidisciplinar de Investigação Científica, Brasil, v. 3, n. 18, 2024. DOI: 10.56166/remici.v3n18414124. Disponível em: https://remici.com.br/index.php/revista/article/view/516. Acesso em: 21 nov. 2024.
Section
Artigos

References

AMAZON, S. O que é IA generativa? 2023. Disponível em: https://aws.amazon.com/pt/what-is/generative-ai/. Acessado em: Jun. 2024.

BATISTA, D. “O racismo algorítmico é uma espécie de atualização do racismo estrutural”. 2023. Disponível em: https://cee.fiocruz.br/?q=Tarcizio-Silva-O-racismo-algoritmico-e-uma-especie-de-atualizacao-do-racismo-estrutural. Acessado em: Jun. 2024.

BENTO, M. A. S. Pactos narcísicos no racismo: branquitude e poder nas organizações empresariais e no poder público. 2002. Tese (Doutorado) – Universidade de São Paulo, São Paulo, 2002. Dispo-nível em: https://teses.usp.br/teses/disponiveis/47/47131/tde-18062019-181514/. Acessado em: Jun. 2024.

BHUIYAN, J. Lost in ai translation: growing reliance on language apps jeopardizes some asylum applications. [S. l.], 15 jun. 2023.

Disponível em: https://www.theguardian.com/us-news/2023/sep/07/asylum-seekers-ai-translation-apps. Acessado em: Jun. 2024.

BRAZILIENSE, C. Deputada denuncia ‘racismo algorítmico’ após IA criar imagem dela ar-mada. 2023. Disponível em: https://www.correiobraziliense.com.br/politica/2023/10/5137954-deputada-denuncia-racismo-algoritmico-apos-ia-criar-imagem-dela-armada.html. Acessado em: Jun. 2024.

CANO, R. O robô racista, sexista e xenófobo da Microsoft acaba silenciado: Projetado para o mercado dos ‘millennials’ nos Estados Unidos, Tay não foi capaz de lidar com piadas e perguntas controvertidas. EL PAÍS, 25 mar. 2016. Disponível em: https://brasil.elpais.com/brasil/2016/03/24/tecnologia/1458855274_096966.html. Acessado em: Jun. 2024.

COSSETTI, M. O que é inteligência artificial?. 2018. Disponível em: https://tecnoblog.net/responde/o-que-e-inteligencia-artificial. Acessado em: Jun. 2024.

DANIELS, J. Cyber racism: White supremacy online and the new attack on civil rights. Lanham: Rowman e Littlefield Publishers, 2009.

DRUMOND, D. et al. Racismo algorítmico: o preconceito na programação. 2020. Disponível em: https://blogfca.pucminas.br/colab/racismo-algoritmico-o-preconceito-na-programacao/. Acessado em: Jun. 2024.

ESPARZA, D. A abordagem de um filósofo medieval à inteligência artificial. 2023. Disponível em: https://pt.aleteia.org/2023/06/15/a-abordagem-de-um-filosofo-medieval-a-inteligencia-artificial. Acessado em: Jun. 2024.

EL PAIS. O robô racista, sexista e xenófobo da Microsoft acaba silenciado. 2016. Disponível em: https://brasil.elpais.com/brasil/2016/03/24/tecnologia/1458855274_096966.html. Acessado em: Jun. 2024.

EL PAIS. Google conserta seu algoritmo “racista” apagando os gorilas. 2018. Disponível em: https://brasil.elpais.com/brasil/2018/01/14/tecnologia/1515955554_803955.html. Acessado em: Jun. 2024.

FORBES, M. Como executivos podem usar IA generativa para revolucionar os negócios. 2024. Disponível em: https://forbes.com.br/forbes-tech/2024/03/brandvoice-google-como-executivos-podem-usar-a-inteligencia-artificial-generativa-para-revolucionar-os-negoci-os/#:~:text=IA%20generativa%20para%20neg%C3%B3cios&text=Na%20pr%C3%A1tica%2C%20%C3%A9%20como%20se,todo%20o%20conhecimento%20da%20empresa. Acessado em: Jun. 2024.

FORBES, M. O que é inteligência artificial generativa?. 2023. Disponível em: https://forbes.com.br/forbes-tech/2023/05/o-que-e-inteligencia-artificial-generativa/. Acessado em: Jun. 2024.

GLOBO, G1. Deputada acusa robô que faz desenhos ao estilo Pixar de racismo após tecnologia gerar imagem de mulher negra armada. 2023. Disponível em: https://g1.globo.com/tecnologia/noticia/2023/10/26/deputada-do-rj-diz-que-robo-que-faz-desenhos-ao-estilo-pixar-entregou-imagem-de-mulher-negra-com-arma-na-mao-ao-receber-pedido-de-personagem-em-favela.ghtml. Acessado em: Jun. 2024.

GOMES, G. O que é Racismo algorítmico?. 2024 Disponível em: https://www.politize.com.br/o-que-e-racismo-algoritmi-co/#:~:text=Um%20exemplo%20disso%20ocorreu%20em,que%20pensamos%20no%20meio%20digital. Acessado em: Jun. 2024.

IBM, T. O que é inteligência artificial (IA)?. 2023. Disponível em: https://www.ibm.com/br-pt/topics/artificial-intelligence. Acessado em: Jun. 2024.

IFOOD, Ltda. O que é racismo algorítmico?. 2023. Disponível em: https://institucional.ifood.com.br/noticias/o-que-e-racismo-algoritmi-co/#:~:text=Um%20dos%20principais%20impulsionadores%20do,de%20algoritmos%2C%20sistemas%20e%20aplicativos. Acessado em: Jun. 2024.

IZAAL, R. 'Algoritmos têm responsabilidade pela violência contra mulheres e pessoas negras', diz pesquisadora da UCLA. 2023. Disponível em: https://oglobo.globo.com/celina/algoritmos-tem-responsabilidade-pela-violencia-contra-mulheres-pessoas-negras-diz-pesquisadora-da-ucla-1-2454-4698. Acessado em: Jun. 2024.

MAGALHÃES, W. Inteligência artificial: o que é e quais os impactos na sua vida. 2022. Disponí-vel em: https://www.remessaonline.com.br/blog/inteligencia-artificial/. Acessado em: Jun. 2024.

MCCARTHY, J. et al. A proposal for the dartmouth summer research project on artificial in-telligence. 1955. Disponível em: http://jmc.stanford.edu/articles/dartmouth/dartmouth.pdf. Acessa-do em: Jun. 2024.

MCCARTHY, J. Pioneiro na Inteligência Artificial. 2024. Disponível em: https://jala.university/pt/2024/07/11/john-mccarthy-pioneiro-na-inteligencia-artificial. Acessado em: Jun. 2024.

NEWS, BBC. Como fórmulas matemáticas fomentam desigualdade e discriminação, segundo ex-analista de dados de Wall Street. 2016. Disponível em: https://www.bbc.com/portuguese/geral-37842711. Acessado em: Jun. 2024.

NOBLE, S. Algoritmos da opressão. São Paulo: Rua do Sabão, 2021.

O'NEIL, C. Algoritmos de Destruição em Massa. São Paulo: Rua do Sabão, 2021.

RAIKES, J. AI Can Be Racist: Let’s Make Sure It Works for Everyone. Forbes. 2023. Disponível em: https://www.forbes.com/sites/jeffraikes/2023/04/21/ai-can-be-racist-lets-make-sure-it-works-f-or-everyone/. Acessado em: Jun. 2024.

RAMOS, M. Uso de Inteligência Artificial aumenta e alcança 72% das empresas, diz pesquisa. 2024. Disponível em: https://www.cnnbrasil.com.br/economia/negocios/uso-de-inteligencia-artificial-aumenta-e-alcanca-72-das-empresas-diz-pesquisa/. Acessado em: Jun. 2024.

RUSSELL, S.; NORVIG, P. Inteligência Artificial. 3 ed. Rio de Janeiro: Elsevier, 2013.

SEISING, R. The Fuzzification of Systems. New York: Springer, 2007.

SALAS, J. Google conserta seu algoritmo “racista” apagando os gorilas. 2018. Disponível em: https://brasil.elpais.com/brasil/2018/01/14/tecnologia/1515955554_803955.html. Acessado em: Jun. 2024.

SILVA, T. Racismo algorítmico: Inteligência artificial e discriminação nas redes digitais. São Pau-lo: Sesc SP, 2022.

SIQUEIRA, R. Avanço da Inteligência Artificial traz vantagens, mas abre questões éticas, mo-rais e sociais. 2021. Disponível em: https://jornal.usp.br/atualidades/avanco-da-inteligencia-artificial-traz-vantagens-mas-abre-questoes-eticas-morais-e-sociais/. Acessado em: Jun. 2024.

TUFEKCI, Z. What happens to #ferguson affects ferguson. 2014. Disponível em: https://medium.com/message/ferguson-is-also-a-net-neutrality-issue-6d2f3db51eb0. Acessado em: Jun. 2024.

VITORIO, T. A desigualdade em números: brancos ainda são maioria nas big techs. 2020. Dispo-nível em: https://exame.com/tecnologia/a-desigualdade-em-numeros-brancos-ainda-sao-maioria-nas-big-techs/. Acessado em: Jun. 2024.