Regular un uso de la Inteligencia Artificial responsable

Esta semana se publicó la propuesta de la Unión Europea para regular el uso de la Inteligencia Artificial (IA). Desde ya que la sola tarea es inconmensurable. No porque sea dificil de regular, que lo es, pero porque es una industria que crece exponencialmente y que su aplicación está cada día más extendida en nuevos campos. Y eso es también lo que hace necesaria su regulación, especialmente para una región que es extremadamente cautelosa ante las nuevas amenazas. Tanto, que a veces es contraproducente. Y sin meterme en el texto, una novedad que trae es el esfuerzo por intentar regular al mismo tiempo que dar apoyo a las empresas e investigadores que buscan desarrollar nuevos negocios y soluciones.

TL;DR

• Se propone una escala de riesgo, la cual incluye un listado de actividades prohibidas y otra de alto riesgo que se debe seguir de cerca.
• Se hace especial foco en los servicios de seguimiento biométrico en tiempo real y vigilancia; prohibiendo su uso extendido, pero exceptuado para ciertos casos.
• El listado de aplicaciones de alto riesgo son aquellas que afectan a los derechos fundamentales de la Unión, y si bien se listan algunos, se promete actualizar.
• Como el GDPR aplica tanto a las empresas y organizaciones radicadas en Europa como aquellas de terceros países que intercambien información con empresas dentro de la Unión o que almacenen datos de ciudadanos Europeos.
• El incumplimiento de la regulación impondrá sanciones graves.
• Se creará el European Artificial Intelligence Board para promover la cooperación entre los Estados Miembros.

Vamos al detalle

Lo primero que me ha llamado la atención es el discurso “humanista” o centrado en el humano que utilizan “para que las personas puedan confiar en la tecnología que es usada de una forma segura y responsable con la ley, incluyendo el respeto por los derechos fundamentales” (p.1). Me parece acertado, pero siempre está el balance entre beneficiar al desarrollo de los negocios y los derechos de las personas, conjuntamente con la seguridad y los experimentos militares.

Digo esto, porque al final del documento exceptúa varias actividades que no estarán al alcance de la regulación. Entre ellas, el uso militar de la Inteligencia Artificial, y la potestad de que los Estados utilicen datos biométricos debidamente justificada (y no está claro el limite aquí). Tampoco se aplicará sobre eu-LISA, la agencia Europea de gestión de sistemas IT de gran escala, y esto es un poco preocupante porque puede ser una vía de escape. Sin embargo tiene su propia regulación y confiamos de que no saldrá nada disparatado por ahí.

Por otro lado, muchos de estos sistemas, y en especial los de alto riesgo, estarán cubiertos por el New Legislative Framework (NLF), que regula industrias específicas como la mecánica o dispositivos de uso médico. Esto quiere decir que ambas regulaciones se complementan y que las empresas emergentes tendrán que hacerse de mucha paciencia y estudiar a fondo todas las regulaciones. En específico, preocupa aquellas startups que desarrollan IA para ciertos sectores, para lo cual tendrán que adquirir mucho conocimiento antes de desarrollar e implementar cualquier sistema de IA.

Prohibiciones

El texto dice: “las prohibiciones cubren las prácticas que significan potencialmente la manipulación de personas a través de técnicas subliminales más allá de su consciencia o de explotar vulnerabilidades de grupos vulnerables específicos como niños o personas con discapacidades con el fin de distorsionar materialmente su comportamiento en una forma que puede causar a ellos o a otras personas daño físico o psicológico” (p.12)

Y aquí me han surgido muchas dudas. En primer lugar porque uno de los grandes problemas que se intenta discutir con altura dentro del mundo de la IA es que el abanico de personas perjudicadas no son solo niños o personas con discapacidades, ni hablar de clasificaciones binarias; sino individuos y grupos en diversa medida, tal como se refleja en los autores feministas (e.g. la matriz de dominación). Es evidente que esta perspectiva no está contemplada del todo, y su complejidad es muy difícil de regular.

El texto agrega que otro tipo de manipulación o explotación de los datos está cubierta por otras legislaciones. Yo me pregunto cuál, porque la GDPR no es muy concisa tampoco en este asunto. Asimismo, aclara que estas legislaciones aseguran que las personas deben ser informadas y deben tener la libertad de no ser escudriñadas por estas prácticas. La libertad de elegir no siempre existe en la realidad y mucho menos cuando se habla de sistemas algorítmicos que exceden la comprensión de la población en general.

Otra duda es la definición por la que podemos considerar la distorsión del comportamiento, y la definición de daño. Parece que se asume que el daño debe ser obvio, pero sabemos que no lo es cuando hay una discriminación sistemática o estructural.

En definitiva, las prohibiciones más claras y concisas son las del uso de grados o scoring de las personas, que (según dice en la página 21) puede dañar o provocar un tratamiento desfavorable a las personas o grupos en contextos sociales que, descontextualizados respecto donde se obtuvo los datos originalmente, o bien provocaría un tratamiento que es desproporcionado o injustificado respecto al peso de su comportamiento social.

Y, en segundo lugar, el uso de sistemas biométricos para el seguimiento en tiempo real en espacios públicamente accesibles (y aquí se aclara que no es lo mismo que la distinción entre espacios públicos/privados, también distingue el uso de la biometría en el espacio de acceso público del usado en otros ámbitos). Es importante que la causa principal de su prohibición sea la intrusión a los derechos y libertades de las personas, ya que puede afectar la vida privada, evocar un sentido de persecución y disuadir el ejercicio de la libertad de reunirse y otros derechos fundamentales.
Hay ciertas excepciones a esta prohibición, que son: la busqueda de victimas de un crimen, incluidos niños perdidos; ciertas amenazas a la vida o la seguridad física por personas o ataques terroristas (ojo con esto que hay sido la excusa para muchas excepciones); y la detección, localización o identificación de criminales o sospechosos de actos criminales, con sentencia u orden de detención.

Sin embargo, aclara que estos sistemas de ser utilizados deben ser por pedido específico por una autoridad judicial, o una autoridad administrativa independiente de un Estado Miembro. Y dicha autorización tiene que ser anterior a su uso (no se puede usar y luego pedir la orden). Y por supuesto, dichos datos utilizados deben seguir la normativa vigente sobre la protección de datos. Lo mismo aplica para los deep fakes y la creación de contenidos que parezcan reales.

En mi opinión, esto hará muy difícil la tarea para muchas startups que tienen ideas poco democráticas sobre el uso del espacio público, sin embargo, las limitaciones a los estados son pocas, pero al menos intenta frenar el despliegue indiscriminado de sistemas de reconocimiento facial. Veremos si se cumple en el futuro, o si encuentran artilugios para saltarse estas regulaciones.

Sistemas IA con alto riesgo

El texto aclara que la clasificación de alto riesgo está basada en la intención de funcionalidad que tiene el sistema. Es decir, que no solo se tiene en cuenta la función que cumple en sí misma, sino el propósito y las modalidad por las cuales el sistema es usado. En criollo, no importa si X se creó para algo específico, sino que importa para qué realmente se usa. De esto podemos encontrar muchos ejemplos en la IA, especialmente con deep learning.

Para definir el alto riesgo, tiene que tener impacto en los derechos fundamentales protegidos en la EU, estos incluyen: el derecho a la dignidad humana, respeto por la vida privada y familiar, protección de datos personales, libertad de expresión e información, libertad de reunirse y asociarse, la no-discriminación, la protección al consumidor, los derechos de los trabajadores, los derechos e las personas con discapacidades, los derechos a un remedio justo y un juicio justo, el derecho a la legitima defensa y a la presunción de inocencia y el derecho a una buena administración. Asimismo se mencionan los derechos de los niños abarcados por la convención de la ONU, y el derecho de alto nivel a la protección medioambiental.

Ahora bien, estos sistemas de alto riesgo pueden ser, sistemas de IA que son usados como mecanismos de seguridad de productos (esto puede verse especialmente en la industria), y sistemas de IA en sí mismos. En el Anexo 3 se listan algunos ejemplos pero esta lista se irá actualizando:

– Sistema de identificación biométrica, en tiempo real o a posteriori. Por su probabilidad de tener efectos sesgados y discriminatorios.
– Gestión y operación del tráfico de carretera y servicios de agua, gas, calefacción y electricidad. Por su probabilidad de fallar y poner en riesgo a la vida y la salud de las personas.
– Educación y entrenamiento vocacional, especificamente para evaluar a las personas. Porque se puede determinar el curso de vida y profesional de las personas y su habilidad por asegurar su futuro, y puede perpetuar los patrones históricos de discriminación.
– Empleo, gestión del trabajo y acceso al auto-empleo, reclutamiento y selección de personal, distribución de tareas o evaluación de trabajadores.
– Los servicios que implican el acceso y disfrute a servicios privados y públicos que mejoran la calidad de vida. Particularmente la evaluación para otorgar créditos. Por discriminar personas o grupos en el acceso al financiamiento y otros servicios esenciales. También se incluye en este apartado el acceso a beneficios o servicios públicos de asistencia social, o el despliegue de sistemas de primera emergencia.
– El uso en acciones legales y por autoridades policiales. Por causar o potenciar el desbalance de poder que puede generar un seguimiento policial, arresto o privación de la libertad. Además se incluyen en este apartado, instrumentos de evaluación de riesgo, polígrafos o herramientas similares para detectar el estado emocional, o detectar ‘deep fakes’ (sic), como forma de pruebas o evidencia en un acto criminal o generar analíticas del crimen. En este caso se agrega una excepción, sin explicación alguna, para el uso de estos sistemas para la evasión fiscal y de aduanas.
– El uso en la gestión de migraciones, de asilo y de fronteras, dando excepcional importancia a la transparencia y la no-discriminación de estos sistemas.
– Todo sistema que asista a las autoridades judiciales para la búsqueda e interpretación de hechos, y todo sistema envuelto en la administración de la justicia y los procesos democráticos en general. Se exceptuan los sistemas que ayuden a tareas puramente administrativas que no afecten a la tarea judicial, como sistemas de anonimización, comunicación entre el personal o la distribución de recurdos.

La mayoría, pero no todos, de estos casos implican que haya una observación por un humano, dando la capacidad del humano a reemplazar la decisión del sistema, y también de generar un registro del comportamiento del sistema para poder ser auditado.

En el caso del uso de IA por autoridades policiales, se menciona nuevamente la importancia de utilizar datos de calidad que cumplan los requerimientos, además de ser diseñado y probado con feasibilidad antes de ser puesto en servicio.

Mecanismos de transparencia para ciertos tipos de IA

En el desarrollo de los sistemas de IA hay obligaciones de ser transparente cuando estos sistemas (i) interactúan con humanos, (ii) son usados para detectar emociones o determinar categorías sociales en base a datos biométricos, o (iii) se manipula contenido. Respecto al último grupo, se pone como ejemplo los “deep fakes”, y yo creo que se podrían abarcar muchos más ejemplos, como las fake news o la falsificación de obras, etc. Es cierto que estos ejemplos se abarcan en otras regulaciones, como el copyright, sin embargo dar solamente el ejemplo de los deep fakes puede llamar a la confusión. De todas maneras el texto especifica que se habla de audio, video, o imagen generado o manipulado, por el cual su contenido se parece apreciativamente a contenido auténtico.

Bajo estas tres categorías, la regulación indica que el usuario debe ser anunciado y notificado de que el contenido es generado por medios automatizados. Es decir, que en los tres casos veremos el famoso cartel de “este contenido fue manipulado” o cosas así. Veremos cómo youtube tendrá que adaptarse y empezar a regular su contenido en este asunto. También, en el desarrollo de aplicaciones, por ejemplo bancarias, se tendrá que notificar al usuario. Vamos, terminaremos con muchos carteles como el de las cookies al que nadie prestará atención.

Para el caso de los sistemas considerados de alto riesgo además se requiere que “los usuarios deben ser capaces de interpretar el resultado del sistema y usarlo apropiadamente” (pg. 30). Por lo tanto se requiere que estos sistemas tengan su documentación e instrucciones concisas y claras, incluyendo su relación con los riesgos a los derechos fundamentales y su potencial discriminación.

Ademas se contempla que todos los sistemas sean diseñados y desarrollados para ser supervisados por humanos. Se deben tener medidas para que se garantice esta condición, incluyendo que en los casos en que el operador es responsable este debe ser entrenado y debe tener las capacidades suficientes para cumplir su rol (esto parece obvio pero es bastante frecuente encontrar agentes bancarios o autoridades de migración que no saben cómo funciona el sistema). Esto también obliga a tener en cuenta el sesgo de automatización, cuando el operador confía demasiado, o desconfía demasiado en el sistema.

El sistema debe comunicar el nivel de precisión y las métricas pertinentes. Sin embargo los niveles de precisión y robustez siempre deben mantenerse altos, así como también tener en cuentas las vulnerabilidades del sistema ante ataques informáticos.

Apoyo a la innovación

Aquí han tomado el recaudo de enfocarse mucho en no perjudicar al desarrollo de startups y empresas emergentes. Yo creo que será imposible no perjudicarlos en algún sentido, pero si ponen en especial foco que existen mecanismos propuestos (como sandboxes, hubs de innovación, o financiamiento y programas específicos) para que se puedan llevar a cabo prototipos y pequeñas implementaciones para probar nuevos sistemas de IA, propiciando un entorno seguro sin riesgos. Estos sandboxes, y también bases de datos robustas y de alta calidad, deberán ser puestos en funcionamiento por los Estados Miembros y habrá supervisión para que su implementación sea homogénea.

Gobierno y penalizaciones

Cada Estado Miembro debe transponer la regulación a su normativa y nombrar autoridades que estén a cargo de la supervisión, como es de costumbre. El European Artificial Intelligence Board tendrá representantes de cada estado para homogeneizar su implementación.

Algo interesante, pero que será un poco tedioso, es el desarrollo de una base de datos para todos los sistemas de alto riesgo, los cuales deben ser dados de alta por los proveedores antes de ponerlos en marcha o sacarlos al mercado. Esta base de datos será operada por la Comisión Europea. Asimismo, tendrán que tener un certificado de conformidad (con máxima duración de 5 años), y se utilizará la marca CE que deberá estar siempre visible.

Para estos sistemas habrá una supervisión continua, y los proveedores deben anunciar cuando haya cambios considerables (aquí no está claro en la práctica cuales son los límites, especialmente los sistemas que aprenden continuamente), y obtener nuevamente la conformidad. También deberan tener un sistema de gestión de riesgos en el que se informe a la autoridad cualquier tipo de incidencia y riesgos residuales (p. 47), y el tratamiento de los datos de forma ya vista en el GDPR.

Sin embargo, más alla del almacenamiento de los datos, aquí se habla del entrenamiento de los modelos, y el uso de los datos en las diferentes etapas de los algoritmos. Lo que llama mucho la atención es que habla de que los datasets de entrenamiento, validación y pruebas deben ser “suficientemente relevante, representativos, libres de errores y completamente dentro del propósito esperado del sistema” (p. 29). Está claro que estos objetivos se deben perseguir, pero es bien sabido que en la práctica, y sobre todo trabajando con big data, no existe dataset que esté libre de errores u omisiones. También existe el principio de reutilización en las iniciativas de openData, que si bien está limitado por el GDPR, también es muy difícil de lograr.

Por último, hablar de representación trae aparejados muchos conflictos en tanto definición de las clases utilizadas para considerar su representación, ya sea grupos geográficos y étnicos, políticos o economico-sociales. Sabemos que la representación y la libertad son conceptos amplios, debatidos y conflictivos, cualquier obligación a su respecto está abierta a interpretación y discusión. Además, normalmente se utilizan datasets grandes que han sido creados en una parte del mundo, pero que no son representativos en otra parte del mundo. Esto no solo genera discriminación, sino que su prohibición implicaría una debilidad en la competitividad geográfica. Es más que sabido que la capacidad China, Rusa y de EEUU en el tratamiento de los datos y etiquetado es la que determina mucho el poder de mercado.

Lo que parece un tanto extraño es que se ha puesto un valor monetario al costo de pruebas, verificaciones, etc. Costos que no son menores en el caso de alto riesgo, y esto puede reflejar que solo tengan acceso grandes empresas podrán afrontarlos. Esperemos que haya mecanismos de ayuda para pequeñas empresas. Eso si, las multas pueden ser muy altas, hasta 30 millones de euros, y en el caso de las empresas hasta el 6% del total anual de su año financiero.

Respecto a las responsabilidades, para empresas fuera de la EU, estas tendran que tener un representante en dentro del territorio para poder publicar su sistema. Asimismo, los proveedores de cualquier sistema y los third parties se consideran que cooperan en el desarrollo, también compartiendo responsabilidad.

Voluntariedad

Hay algunos temas que deja a voluntad de los proveedores. Por un lado, los sistemas considerado de menor riesgo pueden o no comprometerse a tener métodos de seguimiento y control de riesgos, así como las medidas anteriormente descriptas.

Asimismo, deja a voluntad, cualquiera sea el nivel de riesgo, considerar tener compromisos respecto a la sustentabilidad del medio ambiente, la accesibilidad para personas con discapacidad, la participación de actores en el diseño y desarrollo del sistema, o tener equipos de desarrollo socialmente diversos. Me parece bien que sea mencionado, pero dejarlo a voluntad parece mas bien anecdótico en un contexto donde hay discriminación acelerada, y donde la lucha del cambio climático es clave y la IA es un actor fundamental en la generación de emisiones.

La regulación, una vez aprobada entrará en ejercicio en los 20 dias posteriores a su publicación. En su mayoría se aplicará 24 meses luego, con alguna excepciones. Esto deja la puerta abierta a ciertos riesgos sobre sistemas que se están ejecutando hoy mismo. Sin embargo se entiende que hay mucho que preparar para poder llevarse a cabo.

—

Como conclusión, creo que es un gran acierto y han hecho un muy buen trabajo. Se nota que ha habido intervención de muchos especialistas en el tema, aunque, como toda regulación tiende a lo genérico y deja problemas complejos en el tintero. En algún punto se confía que los Estados Miembros tengan la capacidad de interpretar los reglamentos con la amplitud necesaria. Y a juzgar por el universo de profesionales en el asunto, tengo mis dudas que seamos capaces de esparcir homogéneamente los problemas y soluciones entre todos los países, dando cuenta del rol de los gobiernos en favorecer o perjudicar ciertos desarrollos y ciertos debates.

Siempre podrá mejorarse y se podrán incluir nuevos usos. Por ejemplo, yo esperaba alguna mención de los coches autónomos, ya que es algo que está en alta demanda, pero evidentemente se regulará a partir de las normativas complementarias o futuras actualizaciones.

Para finalizar me gustaría remarcar lo importante que es la educación sobre estos temas. Ya que si bien se espera que el ciudadano sea consciente de que hay un sistema automatizado detrás, poco se habla seriamente de cómo funcionan y cuales son sus peligros. Por el contrario, en los medios de comunicación se tiende a la fantasía cuando se habla de algoritmos e Inteligencia Artificial. Desde Algorithmic Societies estamos intentando transmitir y educar sobre la IA, y es por eso que creamos un canal de Youtube para intentar ayudar a más personas a entender los sistemas.