Comprender la discriminación injusta en el contexto de la toma de decisiones automatizada
Cosset-Lefevre, H., Maclure, J.
Ética de la IA (2022).
https://doi.org/10.1007/s43681-022-00233-w
Abstracto
El uso de algoritmos predictivos de aprendizaje automático es cada vez más común para guiar o incluso tomar decisiones en entornos públicos y privados. Algunos han promocionado su uso como un método potencialmente útil para evitar decisiones discriminatorias, ya que son aparentemente neutrales, objetivos y se pueden juzgar de una manera que no se pueden juzgar las decisiones humanas. Al subcontratar (total o parcialmente) el proceso de toma de decisiones a un algoritmo, debería permitir a las organizaciones humanas definir claramente los parámetros de decisión y, en principio, eliminar los sesgos humanos. Sin embargo, en la práctica, el uso de algoritmos aún puede ser una fuente de decisiones discriminatorias inapropiadas basadas en al menos tres de sus características: el proceso de extracción de datos y las clasificaciones en las que se basan pueden reproducir sesgos humanos, su diseño automático y predictivo puede conducir a se basan en generalizaciones injustificadas y su opacidad es contraria a las exigencias democráticas. Hacemos hincapié en que los dos últimos aspectos de los algoritmos y sus implicaciones para el reconocimiento se pasan por alto con demasiada frecuencia en la literatura actual. Si bien no todos estos desafíos son insuperables, argumentamos que es necesario definir claramente las condiciones bajo las cuales se puede usar una herramienta de decisión de aprendizaje automático. Definimos y proponemos tres principios fundamentales para limitar adecuadamente el despliegue de algoritmos de aprendizaje automático en la sociedad: los algoritmos deben probarse para garantizar que no tengan un impacto indebido en los grupos históricamente marginados; no deberían abolir o reemplazar sistemáticamente los procesos humanos de toma de decisiones; y una decisión tomada usando un algoritmo siempre debe ser explicable y justificada.
De la conclusión
Dado que los algoritmos de aprendizaje automático son potencialmente peligrosos porque pueden exacerbar y reproducir las desigualdades sociales, y que se basan en la generalización sin tener en cuenta la autonomía individual, su uso debe estar estrictamente regulado. Sin embargo, estos problemas potenciales no significan necesariamente que los algoritmos de ML nunca deban usarse, al menos desde la perspectiva de la ley contra la discriminación. Más bien, estos puntos llevan a la conclusión de que su uso debe ser cuidadosa y estrictamente regulado. Sin embargo, antes de identificar los principios que podrían guiar la regulación, es importante enfatizar dos puntos. Primero, se debe considerar el contexto y el impacto potencial asociado con el uso de un algoritmo en particular. Las leyes contra la discriminación no pretenden proteger contra ningún caso de trato o impacto diferencial, sino más bien proteger y equilibrar los derechos de las partes involucradas cuando entran en conflicto. [18, 19]. Por lo tanto, el uso de algoritmos OA en situaciones en las que no hay derechos en juego sería aceptable o al menos estaría fuera del alcance de las normas contra la discriminación.
En segundo lugar, también es necesario considerar cómo se utiliza el algoritmo y qué lugar ocupa en el proceso de toma de decisiones. Más precisamente, de lo que se ha dicho anteriormente queda claro que las decisiones totalmente automatizadas, donde el algoritmo ML toma decisiones con poca o ninguna intervención humana en situaciones de alto riesgo ético, es decir, tratar a las personas como agentes morales separados y únicos. Para evitar generalizaciones indeseables y respetar nuestras obligaciones democráticas mutuas, la decisión final debe ser tomada por el agente humano, de una manera significativa que vaya más allá del sello, o el agente humano debe al menos ser capaz de explicar y justificar la decisión. si la persona afectada por ella solicita una revisión. Si bien esto no excluye necesariamente el uso de algoritmos de aprendizaje automático, sugiere que su uso debe incluirse en el proceso democrático más amplio centrado en el ser humano.
