El sesgo de la IA puede surgir de las directivas de anotación
K Wiggers y D Coldeway
TechCrunch
Publicado originalmente el 8 de mayo de 22
Aquí hay un extracto:
Resulta que las predisposiciones de los comentaristas pueden no ser las únicas responsables de la presencia de sesgos en las etiquetas de entrenamiento. En un estudio preliminar de la Universidad Estatal de Arizona y el Instituto Allen para IA, los investigadores examinaron si una fuente de sesgo podría estar en las instrucciones escritas por los creadores de conjuntos de datos para servir como guías para los comentaristas. Tales instrucciones suelen incluir una breve descripción de la tarea (por ejemplo, «Etiqueta todas las aves en estas fotos») junto con varios ejemplos.
Los investigadores examinaron 14 conjuntos de datos de «punto de referencia» diferentes utilizados para medir el rendimiento de los sistemas de procesamiento de lenguaje natural o sistemas de IA que pueden clasificar, resumir, traducir y analizar o manipular texto. Al examinar las instrucciones de tareas dadas a los anotadores que trabajaban en los conjuntos de datos, encontraron evidencia de que las instrucciones hacían que los anotadores siguieran ciertos patrones que luego se pasaban a los conjuntos de datos. Por ejemplo, más de la mitad de las anotaciones en Quoref, un conjunto de datos desarrollado para probar la capacidad de los sistemas de inteligencia artificial para comprender cuándo dos o más términos se refieren a la misma persona (o cosa), comienzan con la frase «¿Cuál es el nombre? A frase presente en un tercio de las declaraciones para el registro.
El fenómeno, que los investigadores denominan «sesgo de instrucción», es de particular preocupación porque sugiere que los sistemas entrenados con datos de anotación/instrucción sesgados pueden no funcionar tan bien como se pensó originalmente. De hecho, los coautores encontraron que la distorsión de la instrucción sobreestima el rendimiento de los sistemas y que estos sistemas a menudo no logran generalizar más allá de los patrones de instrucción.
El lado positivo es que se ha descubierto que los sistemas grandes como GPT-3 de OpenAI son generalmente menos sensibles al sesgo de instrucciones. Pero la investigación sirve como un recordatorio de que los sistemas de IA, como los humanos, son propensos a desarrollar sesgos de fuentes que no siempre son obvias. El desafío insuperable es descubrir estas fuentes y mitigar los impactos aguas abajo.
