«El fracaso de los algoritmos es invisible, difícil de monitorizar»

La trayectoria de Cathy O’Neil (Estados Unidos, 1972) es heterodoxa y fascinante. Matemática con un doctorado por la Universidad de Harvard, esta científica de datos se ha desempeñado en entornos tan dispares como la academia, el marketing online, el sector financiero u Occupy Wall Street. También es la autora del blog mathbabe.org, donde explora el impacto que tienen las matemáticas sobre cuestiones cotidianas a las que normalmente no damos importancia.

Capitán Swing publica Armas de destrucción matemática, un ensayo excelente en el que O’Neil critica el uso de algoritmos para controlar cada vez más aspectos de nuestras interacciones sociales –desde el comportamiento en redes sociales a la disponibilidad de créditos bancarios, pasando por métodos de enseñanza o los seguros sanitarios. Conversamos con ella durante su reciente visita a Madrid, cortesía del Aspen Institute y Fundación Telefónica.

Política Exterior (PE). Muchos de los procesos que describes en tu libro se entienden de manera intuitiva. Pero a la mayoría de las personas nos intimidan los modelos matemáticos en que se basan los algoritmos y no nos resulta fácil criticarlos.

Cathy O’Neil (CO). El primer problema es que no tenemos el conocimientos técnico para quejarnos. Es como un escudo que otorga autenticidad a la gente que aplica los algoritmos. Ya tienen todo el poder, pero esto les da el derecho a protegerlo. Es importante darse cuenta de que esto es un verdadero obstáculo, porque la gente que diseña los algoritmos no piensa que sean un problema. Hace poco, Donald Trump y otros republicanos acusaron a Google te introducir sesgos progresistas en sus motores de búsqueda. Lo hicieron sin ofrecer ninguna prueba, pero es cierto que los algoritmos están hechos a medida. Aunque se equivocaron en el punto fundamental, también señalaban algo muy importante: que no existe un sentido de la objetividad en el motor de búsquedas. He visto a expertos en tecnología en Twitter intentando explicarle a Trump cómo funciona el algoritmo. Vamos a ver, Trump jamás se va a molestar en entenderlo. Pero lo que saco del intercambio es que, para los tecnólogos, todo parece reducirse a un malentendido. Piensan que, si la gente entendiese sus modelos matemáticos, todos los considerarían razonables. El cambio que quiero ver es que el peso de explicar cómo funcionan estos sistemas recaiga sobre quienes los diseñan. Pero ahora mismo piensan que son demasiado listos y que sus sistemas son infalibles.

PE. Tu desencanto con los algoritmos empieza en 2008. Para la mayoría de nosotros, en 2011 aún se podía esperar mucho del big data –por ejemplo, que el uso de redes sociales potenciase la primavera árabe–. Solo a partir de 2013, con las revelaciones sobre los servicios de espionaje estadounidenses, comenzó a expandirse el escepticismo hacia estos sistemas.

CO. Eso es en parte porque la gente normalmente se encuentra con algoritmos a un nivel macro, como cuando usa redes sociales. Pero yo los veía desde una perspectiva más detallada. Cuando trabajaba en el sector financiero, los veía emplearse para medir títulos de riesgo y valores de manera fraudulenta. Que eso era así lo sabíamos antes de la crisis de 2008, así que cualquiera que te diga que aquello fue un desastre nacional imposible de prever no tienen ni idea de lo que está hablando.

PE. En el capítulo sobre la crisis, señalas que los modelos que proyectaban sobre grandes cantidades de datos solo operaban tomando como referencia el pasado, por lo que no podían anticipar shocks excepcionales. Es un argumento que recuerda al de Nassim Taleb en El cisne negro.

CO. Quiero llevarle la contraria a ese tipo, que no es muy agradable e intenta ir de listo explicando lo impredecible que es todo. Se da demasiada importancia a su idea idiota. Tiene razón cuando dice que los modelos de riesgo se limitaban a asumir que todo continuaría como en el pasado. Podrías sostener que los modelos estaban mal diseñados, pero él opina que ningún modelo matemático podría haber anticipado esto. Mi argumento es más fuerte: sostengo que los modelos de riesgo en finanzas están hechos para fracasar. Es intencional, en la medida en que las bonificaciones de los operadores dependen de ello. Por lo tanto, infravaloraban riesgos constantemente. Algo que, por otra parte, continua sucediendo. Después de la crisis trabajé en calificación de riesgo y diseñé un modelo mejor para valorar swaps de incumplimiento crediticio, pero a nadie le interesaba. No querían conocer el riesgo. Por lo tanto es un problema político, no matemático.

PE. El uso de algoritmos que describes forma parte de una tendencia creciente a cuantificar cada aspecto de la vida social. Mencionas el caso del sistema penitenciario estadounidense, que ha ido de la mano del uso de técnicas policiales cuantitativas, como CompStat. Describes el proceso de cuantificación a nivel de gestión microeconómica, pero incluso a nivel macroeconómico los modelos que fallaron en 2008 empleaban proyecciones matemáticas muy sofisticados. Como los algoritmos que describes, se trata casi siempre de sistemas de referencia cerrados, de manera que los resultados pueden parecer positivos incluso cuando su impacto social es devastador.

CO. Señalas algo muy importante sobre los algoritmos, que es cómo funcionan y por qué fracasan. Siempre predicen que el futuro será como el pasado. Si queremos que las técnicas policiales en Estados Unidos continúen siendo racistas y abusivas, entonces continuemos usando algoritmos. Hay cosas que sí tienen que ver con el pasado: por ejemplo, algún gen que heredes y te haga más vulnerable a sufrir un cáncer de mama. Eso está bien predecirlo. Pero si es una dinámica cultural, las costumbre cambian a medida que la cultura cambian. Esto altera ese proceso: los algoritmos intervienen para prevenir una evolución, de manera que no solo repiten el pasado, sino que modifican el futuro.

PE. El politólogo James Scott, en su crítica a lo que llama la ideología del alto modernismo, examina el fracaso de proyectos faraónicos y autoritarios de muchos Estados en el siglo XX para modernizar a sus sociedades. Por ejemplo, la construcción de Brasilia. Parece existir un paralelismo con los modelos que tú describes, que también intentan ordenar la vida social en torno a unos parámetros que la gente no comparte necesariamente. La diferencia es que, incluso aunque se desplieguen a gran escala, las iniciativas actuales no buscan homogeneizar a poblaciones enteras sino fragmentar nichos geográficos, de consumo o ideológicos. En este sentido, los algoritmos son responsables de generar las “burbujas” políticas en las que se acusa a cada vez más gente de vivir.

CO. Me gusta la analogía. Estando de acuerdo con los putos en común, permíteme señalar las diferencias. Sin haber leído el libro o saber mucho sobre Brasilia, imagino que aquello fue un desastre.

PE. Básicamente.

CO. Bien, pues la diferencia es que era un desastre a la vista de todo el mundo. Los desastres que ocurren en redes sociales o a través de otros algoritmos son invisibles. Ocurre algo similar con los artículos que se escriben ahora sobre lo malo que es Silicon Valley produciendo hardware –coches autónomos, SpaceX, lo que sea–. Se asume que deberían centrarse en el software, que es lo que se les da bien. Pero, ¿cómo sabemos eso? ¿Por qué íbamos a pensarlo? La respuesta es que, cuando se trata de software, parece esterilizado. Así que, cuando el 80% de las personas solicitando un trabajo son rechazadas por un algoritmo, aunque esté equivocado no podemos verlo, y por lo tanto genera una realidad que lo valida. Por eso siempre intento distinguir entre fracasos que son evidentes y los que son invisibles. Los algoritmos son invisibles, difíciles de detectar y monitorizar.

PE. Tu libro empuja en dos direcciones que no son irreconciliables pero están en tensión. Por un lado, sostienes que los modelos no funcionan y señalas formas de mejorarlos, de manera que integren más información necesaria. Por otra parte, estas armas de destrucción matemática están tan integradas en compañías fundamentales para la economía que parece poco realista esperar cambios sin un programa de reformas a gran escala.

CO. Bueno, no sé. En primer lugar los algoritmos no crean problemas nuevos, sino que propagan los ya existentes. No es que nos enfrentemos a un nuevo mal que acecha a nuestro alrededor, sino que pensamos que hemos mejorado mucho y damos con soluciones mejores y no es así. Somos perezosos. La segunda cosa a tener en cuenta es que todo esto es nuevo. Empezó hace diez años, así que no me contéis que no se puede arreglar. No es una parte esencial de lo que hace IBM, simplemente basura que intentan vender. Lo que digo es que hay que demostrar que funciona. Que es legal –no ya que sea ético, simplemente legal–. Y eso es algo que no harán. Así que no estamos preparados para esto ahora. No quiero precipitarme y decir que es un problema sin solución.