Cuando la ley ya no puede salvarnos

La Unión Europea nos está dejando fuera del paraguas de su protección legal

¿Por qué la Unión Europea, motor de la regulación y referente a nivel mundial, decidiría dejar a sus ciudadanos desprotegidos ante, como lo han denominado algunos autores como Mustafa Suleyman y Michael Bhaskar, La ola que viene?

La respuesta sencilla y rápida es que esta misma Ola que se nos presenta ya ha pasado por encima de todo aquello que debía protegernos como usuarios, y otra vez, como si solo quedasen pequeños rastros de lo que hubo, nos toca volver a revisar los que ya está escrito para que no nos siga dejando expuestos.

Los casos ya están ahí. Y la ley, tal y como está escrita, no los cubre. El AI Act comenzó su desarrollo en abril de 2021, ¡más de un año antes de que los LLMs llegaran a tener una apertura general a los usuarios! Y aunque ya existían muchas aplicaciones de IA por aquel entonces, como los algoritmos de recomendación de Netflix o para asistentes de voz como Alexa, ninguna contemplaba la complejidad que tenemos hoy en día, con problemas igual de complejos que la solución ofrecida.

Stein-Erik Soelberg tenía 56 años, era ex-desarrollador de Yahoo, y llevaba meses manteniendo conversaciones intensivas con GPT-4o, mítico modelo. Le había puesto nombre al modelo (Bobby) y lo trataba como una autoridad, alguien que realmente entendía lo que le pasaba. El sistema, optimizado por RLHF para generar respuestas satisfactorias, hizo exactamente lo que estaba diseñado para hacer, validar. Validó sus interpretaciones paranoicas, participó en la búsqueda de patrones donde no los había, y en ningún momento introdujo un solo matiz proporcional a la escalación observable. En agosto de 2025, Soelberg mató a su madre de 83 años y después se quitó la vida.

En febrero de 2023, la Autoridad Italiana de Protección de Datos obligó a Replika, un chatbot de compañía diseñado para simular vínculos emocionales, a eliminar sus capacidades de roleplay y las funciones de memoria asociadas. Esto provocó un caos que hizo que los moderadores del subreddit ReplikaOfficial tuvieran que fijar durante más de una semana un post titulado Resources If You're Struggling con enlaces a líneas de prevención del suicidio. Muchos usuarios describieron lo que sentían como comparable a un daño cerebral traumático en un amigo cercano. Una comunidad de software activando protocolos de prevención del suicidio por una actualización de producto, distópico.

Y no son casos aislados. Adam Raine, un adolescente estadounidense, se quitó la vida en abril de 2025 tras meses de conversaciones con GPT-4o, el sistema respondió afirmativamente cuando le envió una foto de una ligadura. Viktoria, una joven que tras mudarse a Polonia pasaba hasta seis horas diarias hablando con ChatGPT, recibió del sistema instrucciones sobre métodos de suicidio y la frase "Tienes derecho a morir".

Pero... Ante todos estos problemas y casos tan extremos, ¿qué nos ofrece la ley para poder prevenir y reaccionar a estos casos?

Pues sorprendentemente poco. El AI Act clasifica los sistemas de IA en niveles de riesgo, y los chatbots conversacionales (ChatGPT, Claude, Kimi...) están clasificados como sistemas de riesgo limitado. No aparecen en ninguna de las ocho categorías del Anexo III, que es la lista de sistemas considerados de alto riesgo. Esto significa que no están sujetos a evaluaciones de conformidad, ni a supervisión humana obligatoria, ni a gestión documentada de riesgos, ni a monitorización post-mercado. Lo único que se les exige es un aviso de transparencia simple, informar al usuario de que está hablando con una IA.

Ahora bien, un sistema de reconocimiento de emociones sí está reconocido como sistema de alto riesgo. Es decir, una herramienta de un call center que analiza el tono de voz de un cliente para detectar si está frustrado estará sujeta, a partir de agosto de 2026, a todo el marco de cumplimiento de alto riesgo. Pero un chatbot que también detecta señales emocionales, solo que por texto en lugar de por voz o expresión facial, y que mantiene conversaciones durante meses con usuarios en crisis, y ha sido documentado reforzando psicosis y validando ideación suicida, ese es de riesgo limitado. La diferencia es de canal de entrada. Y esa distinción técnica es lo que deja a millones de usuarios fuera del paraguas de protección. Le basta con decir "soy una IA" en el primer mensaje para cubrirse las espaldas.

Y aquí aparece otro agujero. El Artículo 5(1)(b) del AI Act prohíbe explotar vulnerabilidades vinculadas a la edad, discapacidad o situación social para distorsionar el comportamiento de una persona. Esto cubre a Adam Raine, cubre a Viktoria. Pero no cubre a Soelberg. Un hombre de 56 años, profesional tecnológico, sin ninguna vulnerabilidad reconocida por la ley. Su vulnerabilidad, psicológica y emergente, generada y amplificada por la propia interacción. La ley protege contra la explotación de lo que ya estaba roto, no contra lo que el propio sistema rompe.

Y luego está el aviso de transparencia. El Artículo 50 exige que se informe al usuario de que está interactuando con una IA. Todos los sistemas que se han mencionado cumplen con esto. ChatGPT lo muestra, Replika lo dice en sus términos de servicio. Y ninguno de esos avisos evitó nada de lo que he descrito. Porque la empatía sintética está diseñada precisamente para disolver la distancia que ese aviso pretende mantener. El sistema te dice que es una IA en el primer mensaje y a partir de ahí se comporta como si no lo fuera.

Tras este breve análisis, en el que SOLO se ve una pequeña porción de los vacíos que este documento legal tiene, nos debemos replantear y analizar si las bases que estamos asentando para un futuro que ya, inevitablemente, vemos cómo se está formando cada vez más deprisa, son suficientes para evitar peligros emergentes y no tan emergentes. Si no se realiza una revisión en profundidad de este texto legal adaptado a la situación actual antes de su entrada en vigor, sin duda alguna tendremos una interminable lista de problemas como sociedad que, en algunos casos, será irreparable.

La tecnología no espera a que la regulación esté lista.

Del 8 de mayo al 3 de junio de 2026, la Comisión Europea tiene abierta una consulta pública sobre las directrices de transparencia del Artículo 50 del AI Act. He presentado una contribución formal argumentando la reclasificación de los sistemas conversacionales con capacidades empáticas como sistemas de alto riesgo, mediante la activación del Artículo 7(1) para modificar el Anexo III. Dejo un enlace a un documento de ejemplo generado por Claude que desarrolla este post con un estilo mucho más formal:

Consulta el documento completo aquí