Algoritmos para la manipulación política y la discriminación

Algoritmos para la manipulación política y la discriminación Imagen superior: el conocimiento detallado del perfil de los usuarios de redes sociales permite a los políticos adaptar su propaganda a medida de cada individuo (Geralt, Pixabay).

En 2011, Sarah Wysocki, maestra primaria en Washington DC, fue calificada por un algoritmo de evaluación docente. En vez de valorar su forma de enseñar, corregir, tutorizar, etc., medía indicadores indirectos: las notas de sus alumnos.

Aunque gozaba de la estima de los padres y del director de su colegio, el ‘modelo de valor añadido’ puntuó a Wysocki muy bajo en enseñanza de lengua y matemáticas.

Basándose en decenas de pruebas de un solo curso (para tener validez estadística debería haber procesado cientos de exámenes), la despidieron. La cosa no acabó ahí: en los años siguientes, una inspección detectó numerosas tachaduras en las pruebas: los maestros, temiendo ser echados por el algoritmo, enmendaron al alza los ejercicios de sus estudiantes.

Otro ejemplo del efecto perverso del big data en la educación lo brindan los rankings de universidades, inventados en 1988 por la revista US News and World Report para vender ejemplares a los estudiantes. Aparte de ser confeccionados por periodistas sin idea de pedagogía, al tomar como referencia a las universidades de élite anglosajonas, priorizan parámetros que les benefician como la reputación (favorable a los centros más antiguos) y omiten los que les perjudican, como el precio de la matrícula (de incluirse, aquellas perderían posiciones y las universidades públicas subirían).

Consecuencia: las instituciones de élite aumentaron sus precios, los demás se vieron sometidos a exigencias inalcanzables y proliferó la picaresca para escalar posiciones en las tablas.

Son algunos de los casos examinados en Armas de destrucción matemática. Cómo el Big Data aumenta la desigualdad y amenaza la democracia (título español que no recoge el juego de palabras entre mass y math patente en el original Weapons of Math Destruction). Con pocas fórmulas y abundantes analogías, su autora, Cathy O’Neil, desnuda los errores estadísticos y la falaz neutralidad de ciertos modelos matemáticos, dando una muy oportuna réplica a la visión del big data como panacea de todos los males sociales y económicos.

algoritmos2

Imagen superior: el escándalo creado por el uso ilegal de cuentas de Facebook para propaganda política puso de máxima actualidad al alegato de Cathy O’Neil contra las “armas de destrucción matemática”. En su libro, la experta estadounidense en ciencia de datos desmonta los sesgos y diseños erróneos de algoritmos manejados por empresas, policías y gobiernos con consecuencias nefastas para la igualdad de oportunidades, los derechos laborales y la calidad democrática (Geralt, Pixabay).

Fiasco en las predicciones 

En sus páginas, la obra de O'Neil señala las dos premisas erróneas que sustentaban la predicción de impagos hipotecarios, cuyo fiasco detonó la crisis financiera de 2008: el futuro no diferirá del pasado, y los impagos son hechos aleatorios no relacionados entre sí. O’Neil no habla de oídas; doctora en matemáticas porla Universidad de  Harvard, fue analista cuantitativa del fondo de inversión D.E. Shaw antes de unirse al movimiento Occupy Wall Street, cuyo espíritu impregna su blog mathbabe y este libro.

Su lupa se detiene en los modelos de prevención criminal que orientan a los policías y jueces estadounidenses. Su preferencia por determinadas variables geográficas y figuras delictivas envía a los agentes a patrullar barrios pobres con altas tasas de delitos violentos y faltas al orden público, ignorando los distritos financieros donde se fraguan las estafas que arruinan a millones.

Ciertos algoritmos prevén el potencial reincidente de un reo a partir de criterios insuficientes como su área de residencia y su amistad con personas con antecedentes penales, propiciando con ello sentencias más duras. ¿Resultado? Estigmatización de las zonas marginadas, sobrerrepresentación carcelaria de las minorías étnicas desfavorecidas e impunidad de la delincuencia de guante blanco.

En la selección de personal para trabajos de baja remuneración se aplican algoritmos que no tienen la finalidad de encontrar “al mejor empleado sino de excluir a tantas personas como sea posible de manera barata”, resalta O’Neil. Otros ayudan al sector del seguro a identificar clientes de mayor riesgo para encarecer sus pólizas (sin abaratar las del resto de asegurados, dicho sea de paso), desvirtuando el significado social de una institución nacida para compensar los reveses de la fortuna.

Algoritmos y redes sociales

El último apartado se dedica a un área candente: el uso non sancto de los algoritmos de las redes sociales. El conocimiento detallado del perfil de sus usuarios permite a los políticos adaptar su propaganda a medida de cada individuo, potenciando la práctica demagógica de decir a cada uno lo que quiere oír, y, mucho más peligroso, la manipulación de sus emociones con fines electorales.

La irracionalidad subyacente a la ‘racionalidad numérica’ nos remite al principio GIGO (del inglés garbage in, garbage out), es decir si introduces datos malos en un ordenador, saldrán datos malos.

Es lo que ocurre con modelos que, al decir de O’Neil, “son opiniones incrustadas en matemáticas”, por lo común, prejuicios racistas y clasistas. La condición de secreto comercial de los algoritmos, que les sustrae al escrutinio público, garantiza la opacidad de estas “armas de destrucción matemática”. La gente ignora cómo procesan sus datos y por qué es clasificada de tal o cual manera con pernicioso impacto en sus vidas.

Advierte la autora que con el big data se explota “la mezcla de miedo y confianza que siente la gente por las matemáticas para evitar que hagan preguntas”.

Enamorada de su disciplina, O’Neil cree que la ciencia de los números puede contribuir al bien común y defiende métricas que, en vez de desechar solicitantes de empleo, se destinen a aprovechar las cualidades laborales de cada candidato; que en lugar de enviar más gente a la cárcel, descubran las prisiones que favorecen la reintegracion de los exconvictos; o, como el modelo de Mira Bernstein, que revelen indicios de trabajos forzados en los proveedores de grandes marcas.

O’Neil cree que es crucial que el mundo académico se moje en el asunto, tal como han hecho en la Universidad de Princeton con software robótico que simula ser personas para detectar sesgos en los motores de búsqueda y buscadores de empleo en la red.

Una analogía transmite su mensaje final: así como las pésimas condiciones en las fábricas de la Revolución Industrial obligaron a imponer las leyes laborales, "nuestra época exige una legislación que proteja a la ciudadanía de los abusos perpetrados mediante la minería de datos".

Cabe apuntar que no estamos ante una obra de divulgación; la autora privilegia la denuncia por encima de la explicación minuciosa de los defectos matemáticos y estadísticos de los modelos cuestionados (una tarea imposible de cumplir en tan pocas páginas y con tantos ejemplos abarcados). Pese a esa deficiencia, el lector agradece su aldabonazo en la conciencia pública, que le pone en guardia contra las nuevas y sofisticadas formas de perpetrar injusticias.

Copyright del artículo © Pablo Francescutti, SINC (CC).

Pablo Francescutti

Pablo Francescutti es sociólogo, profesor e investigador en el Grupo de Estudios Avanzados de Comunicación de la Universidad Rey Juan Carlos (URJC) y miembro del Grupo de Estudios de Semiótica de la Cultura (GESC).

logonegrolibros

  • Sherlock Holmes, los jeroglíficos y el córnico
    Escrito por
    Sherlock Holmes, los jeroglíficos y el córnico Durante siglos se pensó que los jeroglíficos egipcios eran tan solo dibujos o, como creía Athanasius Kircher y otros seguidores de la tradición hermética, misteriosos símbolos que escondían significados arcanos. Elogio o panegírico al rey…
  • Pour Ravel
    Escrito por
    Pour Ravel De Ravel se cuenta que, estando de visita en la ciudad marroquí de Fez, y observando una de las construcciones típicas del lugar, exclamó: “El día en que yo escriba una música árabe, será mucho…

Trestesauros500

logonegrociencia

Cosmos: A Spacetime Odyssey © Fox

  • Mágicos prodigiosos
    Escrito por
    Mágicos prodigiosos Acabo de publicar un artículo titulado “Mágicos prodigiosos y verdades acrisoladas. Inquisición, magia, experiencia y conocimiento en el siglo XVII español”. El lugar elegido ha sido The Colorado Review of Hispanic Studies, revista publicada por el…

Cartelera

Cine clásico

logonegrofuturo2

Cosmos: A Spacetime Odyssey © Fox

logonegrolibros

bae22, CC

logonegromusica

Namlai000, CC

  • Psicodelia brasileña
    Escrito por
    Psicodelia brasileña ¿Cómo podríamos definir esta versión brasileña de la psicodelia? Yo la sitúo como una suerte de eslabón perdido entre dos manifestaciones musicales de mucho peso: la Jovem Guarda, aquel movimiento de fines de los sesenta…

logonegroecologia

Mathias Appel, CC