“Hemos entrado a la era de la automatización – estamos confiados, pero no muy preparados”, dice Joy Buolamwini, en un video que describe cómo los sistemas comerciales de reconocimiento facial no logran reconocer el género de una en tres mujeres de color. Cuanto más oscura la piel, peores son los resultados.
Es la clase de sesgo que preocupa, ahora que la inteligencia artificial (IA) se usa para determinar cosas como a quién se le concede un préstamo, quién tiene más probabilidades de obtener un préstamo, quién tiene más probabilidades de obtener un empleo y a quién se le muestra qué en internet, dice Buolamwini.
Los sistemas de reconocimiento facial que hay disponibles en el mercado se venden como sistemas precisos y neutrales. Pero se hacen pocos esfuerzos para asegurarse de que sean éticos, inclusivos o que respeten los derechos humanos y la igualdad de género, antes de ser utilizados por agencias policiales o corporaciones, lo cual podría tener un impacto negativo en la vida de la gente.
Joy Buolamwini es la fundadora de Algorithmic Justice League [Liga de Justicia Algorítmica], iniciativa para fomentar la discusión sobre las preferencias y sesgos de raza y género, y para desarrollar nuevas prácticas para la responsabilidad tecnológica. Con una mezcla de investigación, arte y activismo en línea, Buolamwini llama la atención sobre los sesgos perjudiciales existentes en los productos comerciales de IA – lo que ella llama la “mirada codificada”. Para informar al público y promover el cambio, ella ha prestado testimonio ante la Comisión Federal de Comercio en Estados Unidos, ha concurrido al Global Tech Panel de la Unión Europea, ha escrito editoriales para importantes publicaciones de noticias y fue oradora de apertura en numerosos eventos académicos, industriales y de medios.
En varios sitios web y en diferentes videos, comparte su experiencia vivida y su poesía, tocando un tema que se trata más comúnmente en términos estrictamente técnicos (o que simplemente no se trata).
¿Acaso no soy una mujer?
La “mirada codificada” se refiere a cómo los sistemas comerciales de IA pueden ver a las personas de maneras que reflejan y amplían la injusticia en la sociedad. En Center for Civic Media de Media Lab del MIT, Buolamwini ha investigado sistemas comerciales de análisis facial, e ilustra cómo se producen sesgos e inexactitudes de raciales y de género. Algunos de los problemas que pavimentan la aparición de riesgos más importantes son la presencia de datos de capacitación defectuosos e incompletos, falsas suposiciones y falta de auditorías técnicas.
Para contraatacar, la Liga de Justicia Algorítmica y el Centro de Privacidad y Tecnología de la Facultad de Derecho de Georgetown lanzaron el compromiso de rostro seguro en diciembre de 2018. Son una serie de medidas que las empresas pueden tomar para garantizar que la tecnología de análisis no perjudique a las personas. Un grupo de empresas ha suscrito el compromiso y varios investigadores de IA destacados han confirmado su apoyo.
Es una de las muchas iniciativas con las que Buolamwini y sus colegas están experimentando para generar un cambio de las grandes empresas de tecnología. Hasta ahora, ha encontrado que llamar la atención del público a los sesgos del reconocimiento facial ha llevado a reducciones perceptibles en las inexactitudes. Después de que Amazon intentase desacreditar los hallazgos de la investigación de Buolamwini, expertos de IA destacados respondieron en abril, y pidieron a la empresa que dejase de vender su tecnología de reconocimiento facial a agencias policiales.
Se puede hacer más, dice. “El uso de tecnología de análisis facial para identificar a una persona específica (reconocimiento facial) o evaluar un atributo sobre una persona (clasificación de género o clasificación étnica) puede llevar a violaciones de las libertades civiles”, escribe Buolamwini en el blog de MIT Media Lab en Medium.
Ella asegura que se necesitan defensas ante el abuso. “Todavía hay tiempo para cambiar el enfoque hacia una construcción de sistemas éticos de inteligencia artificial que respeten nuestra dignidad y derechos humanos”, dice Buolamwini. “Tenemos un rol que cumplir al darle forma al futuro de la inteligencia artificial, pero debemos actuar ahora para que se incline hacia la justicia y la inclusión”.
¿Cómo te sientes con respecto a los sistemas de reconocimiento facial?
[…] “Es la clase de sesgo que preocupa, ahora que la inteligencia artificial se usa para determinar cosas como a quién se le concede un préstamo, quién tiene más probabilidades de obtener un préstamo, quién tiene más probabilidades de obtener un empleo y a quién se le muestra qué en internet”, aseguró Joy Buolamwini. […]