Algoritmos para la manipulación política y la discriminación

Algoritmos para la manipulación política y la discriminación Imagen superior: el conocimiento detallado del perfil de los usuarios de redes sociales permite a los políticos adaptar su propaganda a medida de cada individuo (Geralt, Pixabay).

En 2011, Sarah Wysocki, maestra primaria en Washington DC, fue calificada por un algoritmo de evaluación docente. En vez de valorar su forma de enseñar, corregir, tutorizar, etc., medía indicadores indirectos: las notas de sus alumnos.

Aunque gozaba de la estima de los padres y del director de su colegio, el ‘modelo de valor añadido’ puntuó a Wysocki muy bajo en enseñanza de lengua y matemáticas.

Basándose en decenas de pruebas de un solo curso (para tener validez estadística debería haber procesado cientos de exámenes), la despidieron. La cosa no acabó ahí: en los años siguientes, una inspección detectó numerosas tachaduras en las pruebas: los maestros, temiendo ser echados por el algoritmo, enmendaron al alza los ejercicios de sus estudiantes.

Otro ejemplo del efecto perverso del big data en la educación lo brindan los rankings de universidades, inventados en 1988 por la revista US News and World Report para vender ejemplares a los estudiantes. Aparte de ser confeccionados por periodistas sin idea de pedagogía, al tomar como referencia a las universidades de élite anglosajonas, priorizan parámetros que les benefician como la reputación (favorable a los centros más antiguos) y omiten los que les perjudican, como el precio de la matrícula (de incluirse, aquellas perderían posiciones y las universidades públicas subirían).

Consecuencia: las instituciones de élite aumentaron sus precios, los demás se vieron sometidos a exigencias inalcanzables y proliferó la picaresca para escalar posiciones en las tablas.

Son algunos de los casos examinados en Armas de destrucción matemática. Cómo el Big Data aumenta la desigualdad y amenaza la democracia (título español que no recoge el juego de palabras entre mass y math patente en el original Weapons of Math Destruction). Con pocas fórmulas y abundantes analogías, su autora, Cathy O’Neil, desnuda los errores estadísticos y la falaz neutralidad de ciertos modelos matemáticos, dando una muy oportuna réplica a la visión del big data como panacea de todos los males sociales y económicos.

algoritmos2

Imagen superior: el escándalo creado por el uso ilegal de cuentas de Facebook para propaganda política puso de máxima actualidad al alegato de Cathy O’Neil contra las “armas de destrucción matemática”. En su libro, la experta estadounidense en ciencia de datos desmonta los sesgos y diseños erróneos de algoritmos manejados por empresas, policías y gobiernos con consecuencias nefastas para la igualdad de oportunidades, los derechos laborales y la calidad democrática (Geralt, Pixabay).

Fiasco en las predicciones 

En sus páginas, la obra de O'Neil señala las dos premisas erróneas que sustentaban la predicción de impagos hipotecarios, cuyo fiasco detonó la crisis financiera de 2008: el futuro no diferirá del pasado, y los impagos son hechos aleatorios no relacionados entre sí. O’Neil no habla de oídas; doctora en matemáticas porla Universidad de  Harvard, fue analista cuantitativa del fondo de inversión D.E. Shaw antes de unirse al movimiento Occupy Wall Street, cuyo espíritu impregna su blog mathbabe y este libro.

Su lupa se detiene en los modelos de prevención criminal que orientan a los policías y jueces estadounidenses. Su preferencia por determinadas variables geográficas y figuras delictivas envía a los agentes a patrullar barrios pobres con altas tasas de delitos violentos y faltas al orden público, ignorando los distritos financieros donde se fraguan las estafas que arruinan a millones.

Ciertos algoritmos prevén el potencial reincidente de un reo a partir de criterios insuficientes como su área de residencia y su amistad con personas con antecedentes penales, propiciando con ello sentencias más duras. ¿Resultado? Estigmatización de las zonas marginadas, sobrerrepresentación carcelaria de las minorías étnicas desfavorecidas e impunidad de la delincuencia de guante blanco.

En la selección de personal para trabajos de baja remuneración se aplican algoritmos que no tienen la finalidad de encontrar “al mejor empleado sino de excluir a tantas personas como sea posible de manera barata”, resalta O’Neil. Otros ayudan al sector del seguro a identificar clientes de mayor riesgo para encarecer sus pólizas (sin abaratar las del resto de asegurados, dicho sea de paso), desvirtuando el significado social de una institución nacida para compensar los reveses de la fortuna.

Algoritmos y redes sociales

El último apartado se dedica a un área candente: el uso non sancto de los algoritmos de las redes sociales. El conocimiento detallado del perfil de sus usuarios permite a los políticos adaptar su propaganda a medida de cada individuo, potenciando la práctica demagógica de decir a cada uno lo que quiere oír, y, mucho más peligroso, la manipulación de sus emociones con fines electorales.

La irracionalidad subyacente a la ‘racionalidad numérica’ nos remite al principio GIGO (del inglés garbage in, garbage out), es decir si introduces datos malos en un ordenador, saldrán datos malos.

Es lo que ocurre con modelos que, al decir de O’Neil, “son opiniones incrustadas en matemáticas”, por lo común, prejuicios racistas y clasistas. La condición de secreto comercial de los algoritmos, que les sustrae al escrutinio público, garantiza la opacidad de estas “armas de destrucción matemática”. La gente ignora cómo procesan sus datos y por qué es clasificada de tal o cual manera con pernicioso impacto en sus vidas.

Advierte la autora que con el big data se explota “la mezcla de miedo y confianza que siente la gente por las matemáticas para evitar que hagan preguntas”.

Enamorada de su disciplina, O’Neil cree que la ciencia de los números puede contribuir al bien común y defiende métricas que, en vez de desechar solicitantes de empleo, se destinen a aprovechar las cualidades laborales de cada candidato; que en lugar de enviar más gente a la cárcel, descubran las prisiones que favorecen la reintegracion de los exconvictos; o, como el modelo de Mira Bernstein, que revelen indicios de trabajos forzados en los proveedores de grandes marcas.

O’Neil cree que es crucial que el mundo académico se moje en el asunto, tal como han hecho en la Universidad de Princeton con software robótico que simula ser personas para detectar sesgos en los motores de búsqueda y buscadores de empleo en la red.

Una analogía transmite su mensaje final: así como las pésimas condiciones en las fábricas de la Revolución Industrial obligaron a imponer las leyes laborales, "nuestra época exige una legislación que proteja a la ciudadanía de los abusos perpetrados mediante la minería de datos".

Cabe apuntar que no estamos ante una obra de divulgación; la autora privilegia la denuncia por encima de la explicación minuciosa de los defectos matemáticos y estadísticos de los modelos cuestionados (una tarea imposible de cumplir en tan pocas páginas y con tantos ejemplos abarcados). Pese a esa deficiencia, el lector agradece su aldabonazo en la conciencia pública, que le pone en guardia contra las nuevas y sofisticadas formas de perpetrar injusticias.

Copyright del artículo © Pablo Francescutti, SINC (CC).

Pablo Francescutti

Pablo Francescutti es sociólogo, profesor e investigador en el Grupo de Estudios Avanzados de Comunicación de la Universidad Rey Juan Carlos (URJC) y miembro del Grupo de Estudios de Semiótica de la Cultura (GESC).

logonegrolibros

Términos de uso y Aviso de privacidad. ISSN 2530-7169 (Ilustración: Kellepics, CC)

  • El genio no nace, se hace
    Escrito por
    El genio no nace, se hace Que yo sepa, no se conoce ningún caso de genio que no haya necesitado hacerse, más allá de algún matemático, algún músico  o alguna persona dotada para ciertas operaciones mentales, que casi siempre combina su…
  • Cine y literatura
    Escrito por
    Cine y literatura Es un tema inmenso, lo admito. Por eso no caben aquí más que unos pocos esbozos para que cada quien se arme su tratado. Lo cierto es que hay cientos de ejemplos de novelas que…

logonegrociencia

Comfreak, CC

Trestesauros500

Vlynn, CC

Cartelera

Cine clásico

logonegrofuturo2

Imagen © Richard Kingston (young rascal)

  • Virgil Finlay (1914-1971)
    Virgil Finlay (1914-1971) Ya hemos comentado en entradas anteriores la importancia que tuvieron los ilustradores de las revistas pulp en la formación de los iconos de la ciencia-ficción. Es preciso tener en cuenta que en los años veinte…

logonegrolibros

MystycArtDesign, CC

logonegromusica

Fradellafra, CC

  • Florencia del 53
    Escrito por
    Florencia del 53 El Mayo Musical Florentino de 1953, con la perspectiva de la distancia, puede convencernos de que fue una de las ediciones más importantes de toda su historia. Dos acontecimientos permiten sostener esta valoración: Callas interpreta…

logonegroecologia

Coffy, CC

  • Bosques para la salud
    Escrito por
    Bosques para la salud Un paisaje forestal siempre resulta emocionante. A través de los sentidos, nos hace sentir esa pulsión primigenia que revela lo más esencial de la vida y que confirma nuestros vínculos con la naturaleza. Por todo…

etimologia