Un amplio y detallado informe elaborado por la Agencia del Gobierno Electrónico y Sociedad de la Información y el Conocimiento (Agesic) con recomendaciones y sugerencias para la regulación de la inteligencia artificial (IA) en Uruguay plantea inquietudes desde la sociedad civil sobre el uso de esta tecnología por parte de las fuerzas de seguridad con fines de vigilancia de la población.
El documento, titulado “Recomendaciones para una regulación de la IA orientada al desarrollo ético, la protección de los derechos humanos y el fomento de la innovación tecnológica”, aborda diversos desafíos normativos y legales que plantea el auge de los algoritmos inteligentes.
Una de las líneas temáticas del reporte aborda el uso de sistemas de IA para actividades de vigilancia y monitoreo. En las conclusiones, Agesic hace referencia a la Ley 19.696, de 2018, que regula el Sistema Nacional de Inteligencia del Estado, “estableciendo principios de respeto a la Constitución y los derechos humanos”. Sin embargo, el decreto 157/022, que establece los lineamientos y directrices que rigen las actividades de inteligencia nacional, no aborda ni regula el uso de tecnologías de IA en las tareas de monitoreo, seguimiento y recopilación de información por parte de los servicios de inteligencia del gobierno. Esta omisión ha generado inquietud entre las organizaciones civiles, quienes consideran que la falta de reglamentación específica deja un vacío legal que podría ser utilizado para vulnerar la privacidad de los ciudadanos.
Las asociaciones consultadas por Agesic plantearon “una moratoria en la adquisición de software de vigilancia” hasta que se establezca “una base legal que regule adecuadamente el ecosistema de vigilancia policial”, o la implementación de medidas de transparencia y control, como “la auditabilidad y explicabilidad algorítmica, la trazabilidad, protocolos de control de acceso y la descripción de responsabilidades detalladas” sobre quienes utilizan los sistemas de vigilancia.
También expresaron la necesidad de establecer “líneas rojas” que delimiten qué usos de la IA están “estrictamente” prohibidos para la Policía y cuáles requieren orden judicial. En ese sentido, plantearon “la prohibición” del uso de vigilancia biométrica en tiempo real y sin orden judicial en espacios públicos, así como “una regulación específica de la admisibilidad, valoración y diligenciamiento de los matches biométricos como métodos de investigación y prueba digital”. Finalmente, el documento hace énfasis en la importancia del entrenamiento adecuado de los funcionarios policiales, jueces y fiscales en el uso de la IA con fines de vigilancia del Ministerio del Interior (MI), incluyendo una certificación obligatoria.
La biometría utiliza características físicas y de comportamiento únicas, como huellas digitales, reconocimiento facial y voz, para autenticar la identidad de las personas.
En una nota publicada en su web, Datysoc, una de las asociaciones civiles consultadas por Agesic para la realización del informe, identificó el uso policial de la IA como “un emergente de alto riesgo” que requiere una regulación “urgente”. Como ejemplo, expone que el MI ha ido “construyendo un ecosistema de vigilancia automatizada” basado en IA y otros sistemas, sin la debida regulación ni transparencia sobre su funcionamiento. Ante esta situación, propone a la agencia gubernamental agregar una nueva línea al documento que aborde específicamente el “uso de IA con fines de vigilancia policial y como prueba en el proceso penal”.
En ese contexto, Agesic entiende que “una medida puntual a considerar” en la regulación del desarrollo, uso y adquisición de IA en el sector público “es la realización de evaluaciones de impacto en los derechos humanos como requisito para la adquisición, desarrollo y/o uso de los sistemas de IA por parte de las entidades públicas en áreas en que se determine que pueda existir un riesgo alto para los derechos de las personas” y recomienda “analizar como parte del paquete de medidas a evaluar, la regulación del desarrollo, adquisición y aplicación de sistemas de vigilancia con fines de seguridad pública”.
La sombra de la vigilancia en espacios públicos retrasó la aprobación de la ley europea sobre IA, promulgada en marzo de este año. La nueva normativa clasifica las aplicaciones de la IA de acuerdo al nivel de riesgo que representen para la población. Los sistemas de identificación biométrica en tiempo real y a distancia son considerados de “riesgo inaceptable”, con algunas excepciones. “Se establecen salvedades muy específicas como el secuestro de un menor o un inminente ataque terrorista en un espacio público, que podrían justificar una autorización judicial para la vigilancia de identificación de personas. En estos casos, la autorización no la otorgará el Ejecutivo o la Policía, sino la autoridad judicial, previa evaluación del impacto sobre los derechos fundamentales”, explicó a Búsqueda el eurodiputado Ibán García del Blanco, representante español que participó en las negociaciones finales de la ley que posicionó a Europa como pionera en la regulación de esta tecnología.
Pese a la frágil línea entre seguridad pública y garantías constitucionales, la Asamblea Nacional de Francia autorizó el uso de tecnología de vigilancia por video asistida por IA durante los Juegos Olímpicos de París.
Vigilancia-biometrica-AFP.jpg
Un sistema de detección de personas equipado con Inteligencia Artificial detecta los movimientos y acciones de las personas, así como su sexo, ropa y colores en el pabellón de ZTE durante el Mobile World Congress en Barcelona, España, el 2 de abril de 2024.
AFP
Otros desafíos éticos abordados por el informe
Más allá del uso de IA para vigilancia, el informe de 168 páginas elaborado por Agesic analiza otras recomendaciones sobre la orientación de las normas que gobernarán esta tecnología en Uruguay, incluyendo la institucionalidad y gobernanza de esta tecnología, su relación con los derechos humanos y la democracia, así como cuestiones de propiedad intelectual, infraestructura, trabajo y capacitación.
Agesic busca establecer un marco institucional integral que facilite “el desarrollo, monitoreo y auditoría de políticas públicas en inteligencia artificial y gestión de datos”. Esto implica “definir y adoptar normativas, políticas y lineamientos” basados “en estándares nacionales, regionales e internacionales”, a fin de asegurar la confiabilidad y el uso apropiado de los datos, ya que estos “son uno de los insumos principales de dicha tecnología y su principal resultado”.
En ese sentido, la agencia propone “potenciar” sus capacidades, creando “una nueva estructura interna” con una línea de Inteligencia Artificial y Datos. Esto permitiría aclarar la expansión de competencias de Agesic aprovechando sus capacidades en gestión de datos públicos. Además, sugiere atribuir a la Agencia “competencias adicionales” por ley, “incluyendo su rol en la coordinación” nacional e internacional en este tema.
Un desafío importante abordado en el informe es “discutir” la actual regulación en materia de bases legítimas de tratamiento de datos personales, con miras a facilitar el entrenamiento de sistemas de IA. Según Agesic, el artículo 9 de la Ley 18.331 de Protección de Datos Personales, si bien establece diversas bases legítimas para el tratamiento de información, presenta algunas limitaciones al omitir ciertas bases reconocidas a nivel internacional, como el “interés legítimo” que permite el uso de datos en ciertas situaciones, aun sin el consentimiento de la persona. Esto genera “dificultades interpretativas” al momento de aplicar esa normativa en el contexto del desarrollo de aplicaciones de IA, pues el uso de datos personales es fundamental para el entrenamiento de estos sistemas.
El documento identifica medidas concretas orientadas a la formación de las personas y al fortalecimiento de sus habilidades en relación con la IA. Se reconoce que otros aspectos vinculados al impacto de la IA en el mundo laboral requerirán desarrollos más amplios y “una discusión abierta con la participación del Estado, empleadores, trabajadores y sindicatos”, a fin de “obtener acuerdos que potencien los beneficios” de esta tecnología y “mitiguen sus efectos adversos”. En esa línea, Agesic recomienda promover programas de capacitación en temas de IA y gestión de datos, a través de entidades de enseñanza, en colaboración con cámaras empresariales, sindicatos y otras agrupaciones; establecer apoyos o beneficios para las empresas que realicen cursos de IA para sus empleados, en sectores predefinidos; y evaluar la obligación de que los empleadores capaciten a los trabajadores que deban aplicar o que puedan verse afectados por sistemas de IA, previo a su implementación.
El texto también aborda la seguridad jurídica en la atribución de derechos de obras generadas por IA. Agesic recomienda indicar en la propia obra si fue generada por IA sin intervención humana y, en algunos casos, referir al sistema utilizado. Además, propone iniciar un proceso de consulta para determinar cómo se considerarán las obras generadas exclusivamente por IA, incluyendo aspectos de titularidad y compensaciones. Se sugiere considerar un sistema de atribución para obras asistidas por IA, por ejemplo, a quien dirige el proceso creativo. En todos los casos, el tratamiento de los datos utilizados por los sistemas de IA para generar obras “dependerá de la normativa vigente”, puntualiza.
El informe señala la necesidad de tomar medidas para fortalecer la infraestructura y capacidades en ciberseguridad, a fin de impulsar el desarrollo de la IA en el país. Según el análisis, es necesario que el Estado revise “las capacidades computacionales del sector público y privado” y evalúe “la disponibilidad de centros de datos”. También se requiere “definir estándares” de gestión de datos, “analizar las necesidades” de hardware y procesamiento para IA, y proveer capacitación en la materia. Destaca que existe una “dispersión normativa” en áreas como intercambio de datos, ciberseguridad y redes de telecomunicaciones. Por ello, considera relevante organizar y ordenar este marco normativo para facilitar la “adquisición, operación y mantenimiento” de la infraestructura necesaria, acorde al “avance exponencial” de la IA. Agesic resalta la importancia de que el Poder Legislativo analice “si las disposiciones normativas vigentes están alineadas” a las necesidades de infraestructura y ciberseguridad requeridas para el desarrollo de la IA en Uruguay.
