Lo que esconde la Inteligencia Artificial Microsoft y las niñas vulnerables del norte argentino

La película El mago de Oz(Enlace externo) se estrenó en 1939. Uno de sus actores estrella fue Terry, el perro adiestrado para interpretar el papel de Toto, al que entonces se consideraba 'el animal más inteligente del planeta'. El tema de la inteligencia animal preocupó a muchos estudiosos de la época, mientras crecía el interés por comprender si las máquinas podían pensar por sí mismas. Tal posibilidad desafiaba claramente al sentido común, que la descartaba por completo, pero comenzó a ser cuestionada una década después del debut de la película en la obra del matemático británico Alan Turing .(Enlace externo). Durante gran parte del siglo XX, la idea de que los animales o las máquinas eran capaces de pensar se consideró totalmente absurda, ¡mucho ha cambiado desde entonces!

A principios de 2016, el gobernador de Salta en Argentina eligió El mago de Oz como el libro para entregar a los estudiantes de su provincia que estaban aprendiendo a leer. Las chicas descubrieron en el libro de L. Frank Baum que siempre hay un hombre detrás de la 'magia'. Cuando llegaron a la adolescencia, esta lección se extendió a otros ámbitos más concretos de su vida: que no es la magia, sino los hombres los que están detrás de la pobreza, las promesas, las decepciones y los embarazos.

Para entonces, la inteligencia artificial (IA) había pasado de ser el desafío de Turing a convertirse en el área de especialización preferida de las corporaciones más poderosas e influyentes del mundo. Gracias a las atractivas aplicaciones en dispositivos personales como teléfonos móviles y plataformas de transmisión, ganó gran popularidad.

Hasta hace unos años, solo escuchábamos la frase 'inteligencia artificial' para referirnos a HAL 9000(Enlace externo)de 2001: Odisea en el espacio o Data, el androide de Star Trek . Pero hoy en día, pocos se sorprenden con su uso diario. El consenso en los medios de comunicación y en cierta literatura académica es que estamos asistiendo a una de las revoluciones tecnológicas más importantes de la historia.

Sin embargo, el asombro que inspira esta tecnología, que parece sacada de un cuento de hadas o de una película de ciencia ficción, oculta su verdadera naturaleza: es tanto una creación humana como los mecanismos que el aspirante a Mago de Oz quería crear. pasar como eventos divinos y sobrenaturales. En manos del aparato estatal y de las grandes corporaciones, la 'inteligencia artificial' puede ser un instrumento eficaz de control, vigilancia y dominación, y de consolidación del statu quo. Esto quedó claro cuando el gigante del software Microsoft se alió con el gobierno de Salta, prometiendo que un algoritmo podría ser la solución a la crisis de deserción escolar y embarazo adolescente en esa región de Argentina.

Un año después de que repartiera ejemplares de El Mago de Oz en las escuelas de su provincia, el gobernador de Salta, Juan Manuel Urtubey, anunció un acuerdo con la filial nacional de Microsoft para implementar una plataforma de IA diseñada para evitar lo que calificó como 'uno de los problemas más urgentes' de la región. Se refería al creciente número de embarazos de adolescentes. Según estadísticas oficiales, en 2017 más del 18% de todos los nacimientos registrados en la provincia fueron de niñas menores de 19 años: 4.914 niños, a razón de más de 13 por día.

Al promover su iniciativa, el gobernador declaró(Enlace externo), 'Estamos lanzando un programa para prevenir el embarazo adolescente mediante el uso de inteligencia artificial con la ayuda de una empresa de software de renombre mundial. Con esta tecnología se puede predecir con cinco o seis años de antelación -con nombre, apellido y dirección- qué niña, futura adolescente, tiene un 86% de probabilidades de tener un embarazo adolescente'.

Con casi la misma fanfarria que los saludos del Mago de Oz a los visitantes que encontraron su camino a lo largo del camino de baldosas amarillas, Microsoft anunció el anuncio .(Enlace externo)del acuerdo, calificándolo de 'iniciativa innovadora, única en el país, y un gran paso en el proceso de transformación digital de la provincia'.

Un tercer miembro de la alianza entre el gigante tecnológico y el gobierno fue la Fundación CONIN, encabezada por Abel Albino(Enlace externo), médico y activista que luchó contra la legalización del aborto y el uso del preservativo.

Esta alianza revela los motivos políticos, económicos y culturales detrás del programa: el objetivo era consolidar el concepto de 'familia' en el que el sexo y el cuerpo de la mujer están destinados a la reproducción, supuestamente el fin último y sagrado que debe protegerse a toda costa. Esta conocida visión conservadora ha existido durante siglos en América Latina, pero aquí se vistió con ropas de colores brillantes gracias a la complicidad de una corporación estadounidense Microsoft y al uso de términos como 'inteligencia artificial' que aparentemente fueron suficientes para garantía de eficacia y modernidad.

Los anuncios también proporcionaron información sobre algunas de las metodologías que se utilizarán. Por ejemplo, dijeron que los datos básicos 'serán entregados voluntariamente por los individuos' y permitirán que el programa 'funcione para prevenir el embarazo adolescente y la deserción escolar'. Los algoritmos inteligentes son capaces de identificar las características personales que tienden a provocar algunos de estos problemas y alertar al gobierno”. El Coordinador de Tecnología del Ministerio de la Primera Infancia de la Provincia de Salta, Pablo Abeleira, declaró(Enlace externo)que 'a nivel tecnológico, el nivel de precisión del modelo que estamos desarrollando fue cercano al 90%, según una prueba piloto realizada en la ciudad de Salta'.

¿Qué hay detrás de estas afirmaciones?

Al ya se ha integrado no solo en el discurso público sino también en nuestra vida diaria. A veces parece que todo el mundo sabe a qué nos referimos con "inteligencia artificial" (IA). Sin embargo, este término no deja de ser ambiguo, no solo porque suele usarse como un paraguas bajo el cual aparecen conceptos muy similares y relacionados, pero no sinónimos, como 'aprendizaje automático', 'aprendizaje profundo' o computación cognitiva, entre otros. otros, sino también porque un análisis más detenido revela que el concepto mismo de inteligencia en este contexto es controvertido.

En este ensayo, usaremos IA para referirnos a modelos o sistemas de algoritmos que pueden procesar grandes volúmenes de información y datos mientras "aprende" y mejora su capacidad para realizar su tarea más allá de lo que originalmente fueron programados para hacer. Un caso de IA, por ejemplo, es un algoritmo que después de procesar cientos de miles de fotos de gatos puede extraer lo que necesita para reconocer a un gato en una nueva foto, sin confundirlo con un juguete o un cojín. Cuantas más fotografías reciba, más aprenderá y menos errores cometerá.

Estos desarrollos en IA están arrasando en todo el mundo y ya se utilizan en tecnologías cotidianas como el reconocimiento de voz de asistentes digitales como Siri y Alexa, así como en proyectos más ambiciosos como coches sin conductor o pruebas para la detección precoz de cáncer y otras enfermedades. Hay una gama muy amplia de usos para estas innovaciones, que afecta a muchas industrias y sectores de la sociedad. En la economía, por ejemplo, los algoritmos prometen identificar las mejores inversiones en bolsa. En el ámbito político, ha habido campañas en las redes sociales a favor o en contra de un candidato electoral que han sido diseñadas para atraer a diferentes personas en función de sus preferencias y uso de Internet. En relación a la cultura, las plataformas de streaming utilizan algoritmos para ofrecer recomendaciones personalizadas sobre series, películas o música.

El éxito de estos usos de la tecnología y las promesas de beneficios que, hasta hace unos años, solo existían en la ciencia ficción, ha inflado la percepción de lo que la IA es realmente capaz de hacer. Hoy en día, es ampliamente considerado como el epítome de la actividad racional, libre de prejuicios, pasiones y errores humanos.

Esto es, sin embargo, sólo un mito. No existe tal cosa como una 'IA objetiva' o una IA que no esté contaminada por los valores humanos. Nuestra condición humana, quizás demasiado humana, inevitablemente tendrá un impacto en la tecnología.

Una forma de aclarar esto es quitar algunos de los velos que ocultan un término como "algoritmo". La filosofía de la tecnología nos permite distinguir al menos dos formas de definirla en términos conceptuales. En un sentido estricto , un algoritmo es una construcción matemática que se selecciona debido a su efectividad previa para resolver problemas similares a los que se resolverán ahora (como las redes neuronales profundas) .(Enlace externo), redes bayesianas(Enlace externo)o cadenas de Markov(Enlace externo)). En sentido amplio , un algoritmo es un sistema tecnológico completo que comprende varias entradas, como datos de entrenamiento, que produce un modelo estadístico diseñado, ensamblado e implementado para resolver un problema práctico predefinido.

Todo comienza con una comprensión simplista de los datos. Los datos surgen de un proceso de selección y abstracción y, en consecuencia, nunca pueden ofrecer una descripción objetiva del mundo. Los datos son inevitablemente parciales y sesgados, ya que son el resultado de decisiones y elecciones humanas, como incluir ciertos atributos y excluir otros. Lo mismo sucede con la noción de pronóstico basado en datos. Una cuestión clave para el uso gubernamental de la ciencia basada en datos en general y el aprendizaje automático en particular es decidir qué medir y cómo medirlo en función de una definición del problema que se abordará, lo que lleva a elegir el algoritmo, en el sentido estricto. sentido, que se considera más eficiente para la tarea, sin importar cuán mortales sean las consecuencias(Enlace externo). El aporte humano es, por lo tanto, crucial para determinar qué problema resolver.

Por lo tanto, está claro que existe un vínculo inextricable entre la IA y una serie de decisiones humanas. Si bien el aprendizaje automático ofrece la ventaja de procesar rápidamente un gran volumen de datos y la capacidad de identificar patrones en los datos, hay muchas situaciones en las que la supervisión humana no solo es posible, sino necesaria.

Cuando Dorothy, el Hombre de Hojalata, el León y el Espantapájaros finalmente conocieron al Mago de Oz, quedaron fascinados por la voz profunda y sobrenatural de este ser que, en la versión cinematográfica de 1939, fue interpretado por Frank Morgan y apareció en un altar detrás un misterioso fuego y humo. Sin embargo, Toto, el perro de Dorothy, no quedó tan impresionado y corrió la cortina, dejando al descubierto la farsa: había alguien manipulando un conjunto de palancas y botones y dirigiendo todo en el escenario. Asustado y avergonzado, el aspirante a mago trató de mantener la farsa: '¡No le prestes atención al hombre detrás de la cortina!' Pero, cuando fue acorralado por los otros personajes, se vio obligado a admitir que todo era un engaño. 'Solo soy un hombre común', le confesó a Dorothy y sus amigos. El Espantapájaros, sin embargo, lo corrigió de inmediato: 'Eres más que eso. Eres un farsante'.

Cuando quitamos la ropa y los vestidos elegantes, vemos la IA como lo que realmente es: un producto de la acción humana que lleva las marcas de sus creadores. A veces, sus procesos se consideran similares al pensamiento humano, pero se tratan como libres de errores o sesgos. Frente a la retórica persuasiva y generalizada acerca de su valor neutral y la objetividad que la acompaña, debemos analizar la inevitable influencia de los intereses humanos en las diversas etapas de esta supuesta tecnología "mágica".

La promesa de Microsoft y el gobierno de Salta de predecir 'con cinco o seis años de anticipación, con nombres, apellidos y direcciones, qué niña o futura adolescente tiene un 86% de probabilidad de tener un embarazo adolescente' terminó siendo una promesa vacía.

El fiasco comenzó con los datos: utilizaron una base de datos recopilada por el gobierno provincial y organizaciones de la sociedad civil (OSC) en barrios populares de la capital provincial en 2016 y 2017. La encuesta llegó a poco menos de 300.000 personas, de las cuales 12.692 eran niñas. y adolescentes de 10 a 19 años. En el caso de los menores de edad, la información se recababa previo consentimiento del 'jefe de familia' (sic).

Estos datos se incorporaron a un modelo de aprendizaje automático que, según sus implementadores, puede predecir con mayor precisión qué niñas y adolescentes quedarán embarazadas en el futuro. Esto es una absoluta tontería: Microsoft estaba vendiendo un sistema que prometía algo técnicamente imposible de lograr. ¹ Se alimentó una lista de adolescentes a las que se les había asignado una probabilidad de embarazo. Lejos de promulgar políticas, los algoritmos proporcionaron información al Ministerio de la Primera Infancia para que pudiera atender los casos identificados.

El gobierno de Salta no precisó en qué consistirá su abordaje, ni los protocolos utilizados, las actividades de seguimiento previstas, el impacto de las medidas aplicadas -si es que el impacto se ha medido de alguna manera-, los criterios de selección de los no organizaciones gubernamentales (ONG) o fundaciones involucradas, ni el papel de la Iglesia Católica.

El proyecto también tuvo fallas técnicas importantes: una investigación de la World Web Foundation(Enlace externo)informó que no había información disponible sobre las bases de datos utilizadas, los supuestos que sustentaron el diseño de los modelos, ni sobre los modelos finales que se diseñaron, lo que revela la opacidad del proceso. Además, afirmó que la iniciativa no evaluó las posibles desigualdades y no prestó especial atención a los grupos minoritarios o vulnerables que podrían verse afectados. Tampoco consideró las dificultades de trabajar con un grupo de edad tan amplio en la encuesta y el riesgo de discriminación o incluso criminalización.

Los expertos coincidieron en que los datos de la evaluación se habían contaminado levemente, ya que los datos utilizados para evaluar el sistema eran los mismos que se utilizaron para entrenarlo. Además, los datos no eran aptos para la finalidad declarada. Fueron extraídos de una encuesta a adolescentes residentes en la provincia de Salta que solicitaba información personal (edad, etnia, país de origen, etc.) y datos de su entorno (si tenían agua caliente en casa, con cuántas personas convivían). , etc.) y si ya habían estado o estaban embarazadas. Sin embargo, la pregunta que estaban tratando de responder con base en esta información actual era si una adolescente podría quedar embarazada en el futuro .– algo que parecía más una premonición que una predicción. Además, la información estaba sesgada, ya que los datos sobre el embarazo adolescente tienden a ser incompletos u ocultos dada la naturaleza inherentemente delicada de este tipo de tema.

Investigadores del Laboratorio de Inteligencia Artificial Aplicada del Instituto de Ciencias Informáticas de la Universidad de Buenos Aires encontraron que además del uso de datos poco confiables, había graves errores metodológicos en la iniciativa de Microsoft. Además, también advirtieron sobre el riesgo de que los políticos adopten medidas equivocadas: 'Las técnicas de inteligencia artificial son poderosas y requieren que quienes las usan actúen de manera responsable. Son solo una herramienta más, que debe ser complementada con otras, y de ninguna manera reemplazan el conocimiento o la inteligencia de un experto', especialmente en un área tan sensible como la salud pública y sectores vulnerables. ²

Y esto plantea la cuestión más grave en el centro del conflicto: incluso si fuera posible predecir el embarazo adolescente (lo que parece poco probable), no está claro para qué serviría . Falta prevención en todo el proceso. Lo que sí hizo, sin embargo, fue crear un riesgo inevitablemente alto de estigmatización de niñas y adolescentes.

Desde un inicio, la alianza entre Microsoft, el gobierno de Salta y la Fundación CONIN se basó en supuestos preconcebidos que no solo son cuestionables, sino también en conflicto con principios y normas consagrados en la Constitución argentina y los convenios internacionales incorporados al ordenamiento nacional. . Indiscutiblemente parte de la idea de que el embarazo (infantil o adolescente) es un desastre, y en algunos casos la única forma de prevenirlo es a través de intervenciones directas. Esta premisa está ligada a una postura muy vaga sobre la atribución de responsabilidad.

Por un lado, quienes planearon y desarrollaron el sistema parecen ver el embarazo como algo de lo que nadie es responsable. Pero, por otro lado, atribuyen la responsabilidad exclusivamente a las niñas y adolescentes embarazadas. De cualquier manera, esta ambigüedad contribuye, en primer lugar, a la objetivación de las personas involucradas y también invisibiliza a los que son de hecho responsables: principalmente los hombres (o adolescentes o niños, pero principalmente hombres) que obviamente contribuyeron al embarazo (personas suelen decir, con un giro crudo y eufemístico, que la niña o adolescente 'se quedó embarazada'). En segundo lugar, ignora el hecho de que en la mayoría de los casos de embarazo entre mujeres jóvenes y en todoscasos de embarazo entre niñas, no sólo es erróneo presumir que la niña o adolescente consintió en tener relaciones sexuales, sino que esta suposición debe ser completamente descartada. En resumen, esta postura ambigua oscurece el hecho crucial de que todos los embarazos de niñas y muchos embarazos de mujeres jóvenes son el resultado de una violación.

Con respecto al aspecto más descuidado del sistema, es decir, la predicción de la tasa de deserción escolar, se asume (y se concluye) que un embarazo inevitablemente llevará a una alumna a abandonar la escuela. Si bien nunca debe ignorarse el costo de oportunidad que impone a las mujeres el embarazo y la maternidad precoces, la interrupción o el abandono de la educación formal no es inevitable. Hay ejemplos de programas y políticas inclusivos que han sido efectivos para ayudar a evitar o reducir las tasas de abandono escolar.

Desde una perspectiva más amplia, el sistema y sus usos afectan derechos que se enmarcan dentro de un espectro de derechos sexuales y reproductivos, que son considerados derechos humanos. La sexualidad es una parte central del desarrollo humano, independientemente de si las personas deciden tener hijos. En el caso de los menores, es importante tener en cuenta las diferencias en la evolución de sus capacidades, teniendo en cuenta que la orientación de sus padres o tutores siempre debe dar prioridad a su capacidad para ejercer derechos en su propio nombre y beneficio. . Los derechos sexuales en particular implican consideraciones específicas. Por ejemplo, es fundamental respetar las circunstancias particulares de cada niña, niño o adolescente, su nivel de comprensión y madurez, su salud física y mental,

El uso de la IA tiene impactos concretos en los derechos de las niñas y adolescentes (potencialmente) embarazadas. En primer lugar, se violó el derecho a la autonomía personal de las niñas y adolescentes. Ya hemos mencionado su objetivación y la indiferencia del proyecto hacia sus intereses individuales en pos de un supuesto interés general. Las niñas y adolescentes ni siquiera fueron consideradas como titulares de derechos y sus deseos o preferencias individuales fueron completamente ignoradas.

En este proyecto de Microsoft, la IA se utilizó como instrumento para ceder el poder sobre niñas y adolescentes, que fueron catalogadas sin su consentimiento (o su conocimiento, aparentemente). Según quienes promovieron el sistema, las entrevistas se realizaron con los 'jefes de familia' (especialmente sus padres) sin siquiera invitarlos a participar. Además, los cuestionarios incluían asuntos muy personales (su intimidad, vida sexual, etc.) sobre los que sus padres rara vez podrían responder en detalle sin invadir la privacidad de su hija o, lo que es igual de grave, confiando en suposiciones o sesgos que el estado luego asumir que es verdadero y legítimo.

Otras violaciones incluyen los derechos a la intimidad, la privacidad y la libertad de expresión u opinión, mientras que los derechos a la salud y la educación corren el riesgo de ser ignorados, a pesar de las declaraciones de las autoridades y Microsoft sobre su intención de cuidar a las niñas y adolescentes. . Finalmente, vale la pena mencionar un derecho relacionado que es de particular importancia en el contexto específico de este proyecto: el derecho a la libertad de pensamiento, conciencia y religión.

No iríamos tan lejos como para afirmar que este episodio tuvo un final feliz, como lo hizo el Mago de Oz. Pero el proyecto de Microsoft no duró mucho. Sin embargo, su interrupción no se debió a las críticas de los activistas, sino a una razón mucho más mundana: en 2019 se realizaron elecciones nacionales y estatales en Argentina y Urtubey no fue reelegido. La nueva administración puso fin a varios programas, incluido el uso de algoritmos para predecir el embarazo, y redujo el Ministerio de la Primera Infancia, la Niñez y la Familia a la categoría de secretaría.

El humo y los espejos retóricos de los desarrollos de IA objetivos y de valor neutral se desmoronan cuando son desafiados por voces que afirman que esto es imposible en principio, como argumentamos en la primera sección, dada la participación de analistas humanos en varias etapas del desarrollo de los algoritmos. . Hombres y mujeres definieron el problema a resolver, diseñaron y prepararon los datos, determinaron qué algoritmos de aprendizaje automático eran los más apropiados, interpretaron críticamente los resultados del análisis y planificaron la acción adecuada a tomar en función de los conocimientos que reveló el análisis.

No hay suficiente reflexión y discusión abierta sobre los efectos indeseables del avance de esta tecnología. Lo que parece prevalecer en la sociedad es la idea de que el uso de algoritmos en diferentes áreas no solo garantiza eficiencia y rapidez, sino también la no interferencia de prejuicios humanos que puedan 'manchar' la acción prístina de los códigos que sustentan los algoritmos. Como resultado, la gente da por sentado que la IA se ha creado para mejorar la sociedad en su conjunto o, al menos, ciertos procesos y productos. Pero casi nadie cuestiona los conceptos básicos: ¿para quién será esto una mejora, quién se beneficiará y quién evaluará las mejoras? ¿Los ciudadanos? ¿El estado? ¿Corporaciones? ¿Adolescentes salteñas? ¿Los hombres adultos que abusaron de ellas? En cambio,

Las personas ya no se sorprenden con las noticias constantes sobre la introducción de la IA en nuevos campos, excepto por lo nuevo que tiene, y al igual que el paso del tiempo, se trata como algo que no se puede detener ni revisar. La creciente automatización de los procesos que antes realizaba el ser humano puede generar alarma y preocupación, pero no despierta el interés de frenarla ni de reflexionar sobre cómo será el futuro del trabajo y de la sociedad una vez que la IA se haga cargo de gran parte de nuestro trabajo. Esto plantea una serie de preguntas que rara vez se hacen: ¿Es esto realmente deseable? ¿Para qué sectores sociales? ¿Quién se beneficiará de una mayor automatización y quién saldrá perdiendo? ¿Qué podemos esperar de un futuro en el que la mayoría de los trabajos tradicionales serán realizados por máquinas? No parece haber ni el tiempo ni el espacio para discutir este asunto:

Esta complacencia con los constantes avances de la tecnología en nuestra vida privada, pública, laboral y cívica es gracias a la confianza en la creencia de que estos desarrollos son 'superiores' a lo que se puede lograr a través del mero esfuerzo humano. En consecuencia, dado que la IA es mucho más poderosa, es 'inteligente' (el ' inteligente' se usa para teléfonos móviles, aspiradoras y cafeteras, entre otros objetos que harían sonrojar a Turing) y libre de sesgos e intenciones. Sin embargo, como se señaló anteriormente, la idea misma de una IA de valor neutral es una ficción. Para decirlo de manera simple y clara: existen sesgos en todas las etapas del diseño, prueba y aplicación de algoritmos y, por lo tanto, es muy difícil identificarlos e incluso más difícil corregirlos. Sin embargo, es fundamental hacerlo para desenmascarar su naturaleza supuestamente estéril, desprovista de valores y errores humanos.

Un enfoque centrado en los peligros de la IA, junto con una postura optimista sobre su potencial, podría conducir a una dependencia excesiva de la IA como solución a nuestras preocupaciones éticas, un enfoque en el que se le pide a la IA que responda a los problemas que la IA ha producido. Si los problemas se consideran puramente tecnológicos, solo deberían requerir soluciones tecnológicas. En cambio, tenemos decisiones humanas vestidas con vestimenta tecnológica. Necesitamos un enfoque diferente.

El caso de los algoritmos que debían predecir embarazos adolescentes en Salta expone cuán poco realista es la imagen de la supuesta objetividad y neutralidad de la inteligencia artificial. Al igual que Toto, no podemos ignorar al hombre detrás de la cortina: el desarrollo de algoritmos no es neutral, sino que se basa en una decisión tomada entre muchas opciones posibles. Dado que el diseño y la funcionalidad de un algoritmo reflejan los valores de sus diseñadores y los usos previstos, los algoritmos conducen inevitablemente a decisiones sesgadas. Las decisiones humanas intervienen en la definición del problema, la preparación y diseño de los datos, la selección del tipo de algoritmo, la interpretación de los resultados y la planificación de acciones a partir de su análisis. Sin una supervisión humana calificada y activa, ningún proyecto de algoritmo de IA puede lograr sus objetivos y tener éxito.

Los algoritmos de inteligencia artificial no son mágicos, pero no tienen por qué ser un engaño, como argumentó el Espantapájaros. Solo tenemos que reconocer que son humanos.