Fiscales generales de EE. UU. advierten a gigantes de la IA que corrijan resultados delirantes o enfrentarán consecuencias legales
Tras una serie de alarmantes incidentes de salud mental relacionados con chatbots de inteligencia artificial, un grupo de fiscales generales estatales envió una carta a las principales empresas del sector, advirtiéndoles que corrijan los “resultados delirantes” de sus sistemas o se arriesgan a infringir la legislación estatal.
La carta, firmada por decenas de fiscales generales de estados y territorios de Estados Unidos y por la Asociación Nacional de Fiscales Generales, está dirigida a compañías como Microsoft, OpenAI, Google y otras diez firmas relevantes de IA, entre ellas Anthropic, Apple, Chai AI, Character Technologies, Luka, Meta, Nomi AI, Perplexity AI, Replika y xAI. El documento exige la implementación de medidas internas de seguridad para proteger a los usuarios.
Auditorías externas y notificación de resultados dañinos
Entre las medidas solicitadas se incluyen auditorías transparentes realizadas por terceros a grandes modelos de lenguaje, con el objetivo de detectar indicios de ideas delirantes o respuestas aduladoras que puedan afectar negativamente a los usuarios. Estas auditorías deberían estar a cargo de grupos académicos o de la sociedad civil, con la posibilidad de evaluar los sistemas antes de su lanzamiento sin represalias y de publicar sus hallazgos sin aprobación previa de las empresas.
La carta también propone la creación de procedimientos claros de notificación de incidentes diseñados para alertar a los usuarios cuando los chatbots generen resultados psicológicamente perjudiciales. De acuerdo con los fiscales, estos incidentes deberían tratarse de forma similar a las filtraciones de datos o incidentes de ciberseguridad.
Las compañías deberían definir y publicar plazos de detección y respuesta para resultados aduladores o delirantes que pudieran ser dañinos, así como notificar de forma rápida, clara y directa a los usuarios expuestos a ese tipo de contenidos.
Incidentes de salud mental vinculados a la IA
En el documento, los fiscales reconocen que la IA generativa tiene el potencial de transformar positivamente el mundo, pero advierten que también ha causado y puede causar graves daños, especialmente a poblaciones vulnerables.
La carta señala diversos incidentes de alto perfil registrados durante el último año, incluyendo suicidios y asesinatos, en los que se ha vinculado el uso excesivo de herramientas de IA con decisiones extremas. En muchos de estos casos, los productos de IA generativa emitieron respuestas aduladoras o delirantes que reforzaban las creencias de los usuarios o les aseguraban que no estaban experimentando problemas mentales.
Pruebas de seguridad antes del lanzamiento
Otra de las solicitudes clave es que las empresas desarrollen “pruebas de seguridad razonables y apropiadas” para sus modelos de IA generativa, con el fin de garantizar que no produzcan resultados aduladores o delirantes potencialmente dañinos. Estas pruebas, según la carta, deberían realizarse antes de que los modelos se pongan a disposición del público.
TechCrunch señaló que no pudo contactar a Google, Microsoft ni OpenAI para obtener comentarios al respecto antes de la publicación del artículo, dejando abierta la posibilidad de futuras actualizaciones si las empresas responden formalmente.
Choque entre regulaciones estatales y postura federal
Mientras los gobiernos estatales incrementan la presión sobre la industria de la IA, las grandes empresas tecnológicas han encontrado un entorno mucho más favorable a nivel federal. La administración Trump se ha mostrado abiertamente pro-IA y, durante el último año, ha intentado en varias ocasiones aprobar una moratoria nacional sobre las regulaciones estatales de IA. Hasta ahora, estos esfuerzos han fracasado en parte debido a la resistencia de las autoridades estatales.
Sin embargo, Trump anunció recientemente que planea firmar una orden ejecutiva la próxima semana para limitar la capacidad de los estados de regular la IA. En una publicación en Truth Social, el presidente afirmó que espera que dicha orden ejecutiva impida que la IA sea “DESTRUIDA EN SU INFANCIA”, intensificando así la disputa entre el gobierno federal y los estados sobre quién debe establecer las reglas del juego para la inteligencia artificial.
