Siguiendo con nuestro análisis del Reglamento Europeo de Inteligencia Artificial hoy veremos los sistemas clasificados cómo de Alto Riesgo. Estos están permitidos pero deben cumplir con una serie de requisitos, cómo también veremos.
El Anexo III los enumera de la siguiente manera, y serán de alto riesgo cuando la salida que producen sea relevante en una decisión con posible riesgo sobre la salud, la seguridad o los derechos fundamentales.
- a. Sistemas de identificación biométrica (los que identifiquen personas sin su participación activa, recordando la prohibición existente para las fuerzas y cuerpos de seguridad mencionada antes.
- b. Gestión de infraestructuras críticas (como el tráfico, la electricidad o el agua).
- c. Educación y formación profesional (como gestión del acceso a la educación o planificación del desarrollo académico).
- d. Selección de personal y gestión de las relaciones laborales..
- e. Gestión del acceso de las personas a servicios esenciales públicos y privados (como beneficios sociales, servicios de emergencia, crédito o seguros).
- f. Actividades de fuerzas y cuerpos de seguridad (como valoración de pruebas o de sospechosos).
- g. Migración, asilo y control de fronteras (como polígrafos, o valoración de solicitudes)
- h. Administración de justicia y procesos democráticos.
La Comisión tiene capacidad para añadir o retirar sistemas de estas categorías.
¿Cuáles son los requisitos para desarrollar o utilizar estos sistemas?
- Deberán contar con un sistema de gestión de riesgos para el sistema de IA que contemple, en particular, los riesgos sobre la salud, seguridad y derechos fundamentales relacionados con su propósito.
- Deberán contar con una gobernanza y gestión de los datos de entrenamiento y prueba, asegurando buenas prácticas en su diseño, recolección y preparación, asegurando su relevancia y corrección y sus apropiadas propiedades estadísticas, evitando sesgos que afecten negativamente a las personas.
- Deberán producir documentación técnica actualizada, que demuestre que se cumplen los requisitos exigidos.
- Deberán tomar automáticamente registros de actividad del sistema.
- Aportar información a los usuarios sobre las capacidades del sistema, sus requisitos de equipamiento, su ámbito de aplicación, su nivel de precisión, las condiciones de utilización que pueden implicar riesgos, los mecanismos para supervisión humana, etc.
- Permitir la supervisión por personas durante su uso para minimizar los riesgos a la salud, seguridad y derechos fundamentales, en particular de los riesgos residuales tras la aplicación de medidas de mitigación. Los usuarios podrán monitorizar los sistemas e interpretar sus salidas. Para identificación biométrica remota, la salida requerirá verificación por una persona física, posiblemente dos.
Los sistemas deberán proporcionar un nivel adecuado de precisión, robustez y ciberseguridad. Las medidas de ciberseguridad deben ser apropiadas y proporcionadas a sus circunstancias.
