O culpado invisível da IA: desvendando o preconceito interno
Série de blogs sobre preconceito: parte 1
Introdução
No nosso mundo de formas cada vez mais artificiais de inteligência, as máquinas encarregadas de tomar decisões complexas estão a tornar-se cada vez mais predominantes. Há um corpo crescente de literatura indicando o uso da IA em vários domínios, como negócios, tomada de decisões de alto risco e, nos últimos anos, no setor médico. Com esta prevalência crescente, no entanto, as pessoas notaram tendências preocupantes nesses sistemas; Ou seja, embora sejam inerentemente concebidos para seguir puramente os padrões dos dados, têm apresentado sinais de preconceito, no sentido de que podem ser observados diversos comportamentos sexistas e discriminatórios. O recente Lei Europeia de IA, também cobre a questão desse preconceito de forma bastante extensa e estabelece uma base para resolver os problemas a ele associados.
Ao longo dos anos de documentação técnica, as pessoas tenderam a utilizar o termo “preconceito” para descrever este tipo de comportamento distorcido em relação a determinados grupos demográficos; uma palavra cujo significado varia, causando confusão e dificultando a tarefa de abordá-la.
Este artigo é o primeiro de uma série de postagens de blog que abordam o tema preconceito. Nesta série, nosso objetivo será fornecer uma compreensão clara e compreensível do preconceito na IA. Apresentaremos formas de medir e minimizar preconceitos e exploraremos o papel dos dados sintéticos neste caminho para sistemas mais justos. Também daremos uma ideia de como a Syntho, empresa líder na geração de dados sintéticos, pode contribuir para esse esforço. Portanto, quer você seja um profissional em busca de insights práticos ou apenas curioso sobre esse assunto, você está no lugar certo.
Preconceito em ação: um exemplo do mundo real
Você pode estar se perguntando: “Esse preconceito na IA é muito importante, mas o que isso significa para mim, para as pessoas comuns?” A verdade é que o impacto é de longo alcance, muitas vezes invisível, mas potente. O preconceito na IA não é um mero conceito acadêmico; é um problema do mundo real com consequências graves.
Tomemos como exemplo o escândalo do bem-estar infantil holandês. O sistema automatizado, supostamente uma ferramenta criada para gerar resultados justos e eficientes com o mínimo de intervenção humana, era tendencioso. Sinalizou erroneamente milhares de pais por fraude com base em dados e suposições erradas. O resultado? Famílias em crise, reputações pessoais prejudicadas e dificuldades financeiras, tudo devido a preconceitos num sistema de IA. São exemplos como estes que destacam a urgência de abordar o preconceito na IA.
Fonte: "A compensação ou o negócio da dívida pode ser alcançado até 2030 durante”, 2023. NOSSO
Mas não vamos parar por aí. Este incidente não é um caso isolado de preconceito que causa estragos. O impacto do preconceito na IA estende-se a todos os aspectos das nossas vidas. Desde quem é contratado para um emprego, quem é aprovado para um empréstimo, até quem recebe que tipo de tratamento médico – sistemas de IA tendenciosos podem perpetuar desigualdades existentes e criar novas.
Considere o seguinte: um sistema de IA treinado em dados históricos tendenciosos poderia negar um emprego a um candidato bem qualificado simplesmente por causa do seu género ou etnia. Ou um sistema de IA tendencioso pode negar um empréstimo a um candidato merecedor devido ao seu código postal. Estes não são apenas cenários hipotéticos; eles estão acontecendo agora.
Os tipos específicos de preconceitos, como o preconceito histórico e o preconceito de medição, levam a tais decisões erradas. São inerentes aos dados, profundamente enraizados em preconceitos sociais e reflectidos nos resultados desiguais entre diferentes grupos demográficos. Podem distorcer as decisões dos modelos preditivos e resultar em tratamento injusto.
No grande esquema das coisas, o preconceito na IA pode actuar como um influenciador silencioso, moldando subtilmente a nossa sociedade e as nossas vidas, muitas vezes de formas que nem sequer percebemos. Todos estes pontos mencionados acima podem levá-lo a questionar por que não foram tomadas medidas para parar e se isso é mesmo possível.
Na verdade, com os novos avanços tecnológicos, torna-se cada vez mais acessível resolver esse problema. O primeiro passo para resolver este problema, no entanto, é compreender e reconhecer a sua existência e impacto. Por enquanto, o reconhecimento da sua existência foi criado, deixando a questão da “compreensão” ainda bastante vaga.
Entendendo o viés
Embora a definição original de preconceito apresentada pelo Dicionário Cambridge não se afasta muito do propósito principal da palavra no que se refere à IA, muitas interpretações diferentes devem ser feitas até mesmo desta definição singular. Taxonomias, como as apresentadas por pesquisadores como Hellström et al (2020) e Kliegr (2021), fornecem insights mais profundos sobre a definição de preconceito. Uma simples olhada nestes documentos revelará, no entanto, que é necessário um grande estreitamento da definição do termo para resolver eficazmente o problema.
Embora seja uma mudança de acontecimentos, para definir e transmitir de forma otimizada o significado de preconceito, pode-se definir melhor o oposto, ou seja, Justiça.
Definindo Justiça
Como é definido em várias literaturas recentes, como Castelnovo et al. (2022), a justiça pode ser elaborada a partir da compreensão do termo espaço potencial. Tal como existe, o espaço potencial (PS) refere-se à extensão das capacidades e conhecimentos de um indivíduo, independentemente de pertencer a um determinado grupo demográfico. Dada esta definição do conceito de PS, pode-se facilmente definir justiça como a igualdade de tratamento entre dois indivíduos de PS igual, independentemente das suas diferenças observáveis e ocultas nos parâmetros indutores de preconceito (como raça, idade ou género). Qualquer desvio desta definição, também chamada de Igualdade de Oportunidades, é uma indicação clara de preconceito e merece uma investigação mais aprofundada.
Os profissionais entre os leitores poderão notar que alcançar algo como definido aqui pode ser completamente impossível, dados os preconceitos inerentes existentes no nosso mundo. Isso é verdade! O mundo em que vivemos, juntamente com todos os dados recolhidos sobre ocorrências neste mundo, está sujeito a muitos preconceitos históricos e estatísticos. Isto, de facto, diminui a confiança de um dia mitigar totalmente os impactos do preconceito nos modelos preditivos treinados em tais dados “enviesados”. Contudo, através da utilização de vários métodos, pode-se tentar minimizar os impactos do preconceito. Sendo este o caso, a terminologia usada no restante desta(s) postagem(ões) do blog mudará em direção à ideia de minimizar o impacto do preconceito, em vez de mitigá-lo totalmente.
OK! Portanto, agora que surgiu uma ideia do que é preconceito e como se poderia avaliar potencialmente a sua existência; Contudo, se quisermos enfrentar o problema de forma adequada, precisamos de saber de onde se originam todos estes preconceitos.
Compreendendo as fontes e tipos
A pesquisa existente fornece informações valiosas sobre os diferentes tipos de preconceitos no aprendizado de máquina. Como Mehrabi et. al. (2019) depois de dividir os preconceitos no aprendizado de máquina, pode-se dividir os preconceitos em três categorias principais. Nomeadamente aqueles de:
- Dados para Algoritmo: uma categoria que abrange preconceitos que se originam dos próprios dados. Isso pode ser causado pela má coleta de dados, preconceitos inerentes existentes no mundo, etc.
- Algoritmo para o usuário: uma categoria focada em preconceitos decorrentes do design e da funcionalidade dos algoritmos. Inclui como os algoritmos podem interpretar, pesar ou considerar determinados pontos de dados em detrimento de outros, o que pode levar a resultados tendenciosos.
- Usuário em relação aos dados: refere-se aos preconceitos que surgem da interação do usuário com o sistema. A forma como os utilizadores introduzem dados, os seus preconceitos inerentes ou mesmo a sua confiança nos resultados do sistema podem influenciar os resultados.
Figura 1: Uma visualização da estrutura CRISP-DM para mineração de dados; comumente usado na mineração de dados e relevante para o processo de identificação dos estágios em que o preconceito pode surgir.
Embora os nomes sejam indicativos da forma de preconceito, ainda podemos ter dúvidas quanto aos tipos de preconceitos que podemos categorizar sob estes termos genéricos. Para os entusiastas entre nossos leitores, fornecemos links para alguma literatura relacionada a esta terminologia e classificação. Para simplificar, nesta postagem do blog, cobriremos alguns preconceitos selecionados que são relevantes para a situação (quase todos pertencentes à categoria de dados para algoritmo). Os tipos específicos de preconceitos são os seguintes:
- Viés Histórico: Tipo de viés inerente aos dados causado pelos vieses naturais existentes no mundo nos diferentes grupos sociais e na sociedade em geral. É devido à inerência destes dados no mundo que eles não podem ser mitigados através de vários meios de amostragem e seleção de características.
- Viés de medição e viés de representação: Esses dois vieses intimamente relacionados ocorrem quando os diferentes subgrupos do conjunto de dados contêm quantidades desiguais de resultados “favoráveis”. Este tipo de viés pode, portanto, distorcer o resultado dos modelos preditivos
- Viés algorítmico: Viés puramente relacionado ao algoritmo em uso. Conforme também observado nos testes executados (elaborados mais adiante na postagem), esse tipo de viés pode ter um efeito tremendo na justiça de um determinado algoritmo.
Esses entendimentos básicos de preconceito no aprendizado de máquina serão utilizados para resolver o problema de forma mais eficaz em postagens posteriores.
Considerações Finais
Nesta exploração do preconceito na inteligência artificial, esclarecemos as profundas implicações que ela tem no nosso mundo cada vez mais impulsionado pela IA. Desde exemplos do mundo real, como o escândalo do bem-estar infantil holandês, até às intrincadas nuances das categorias e tipos de preconceito, é evidente que reconhecer e compreender o preconceito é fundamental.
Embora os desafios colocados pelos preconceitos – sejam eles históricos, algorítmicos ou induzidos pelo utilizador – sejam significativos, não são intransponíveis. Com uma compreensão firme das origens e manifestações do preconceito, estamos mais bem equipados para enfrentá-los. No entanto, o reconhecimento e a compreensão são apenas os pontos de partida.
À medida que avançamos nesta série, nosso próximo foco será nas ferramentas e estruturas tangíveis à nossa disposição. Como medimos a extensão do preconceito nos modelos de IA? E o mais importante, como podemos minimizar o seu impacto? Estas são as questões urgentes que abordaremos a seguir, garantindo que, à medida que a IA continua a evoluir, ela o faça em uma direção que seja ao mesmo tempo justa e eficiente.
Os dados são sintéticos, mas nossa equipe é real!
Contactar a Syntho e um de nossos especialistas entrará em contato com você na velocidade da luz para explorar o valor dos dados sintéticos!