Como se detalla en una nota periodística de Diario El Comercio, los padres de una menor de 13 años han entablado una demanda contra Google.
El caso marca un hito al ser el primero en señalar directamente al gigante tecnológico por presunta negligencia vinculada con la integración de inteligencia artificial en Chromebooks, las computadoras portátiles de bajo coste empleadas por millones de estudiantes alrededor del mundo.
Según la acción legal, la adolescente utilizó esta tecnología para planificar un posible suicidio y su propio funeral.
La menor, identificada bajo el nombre de Emma, tenía restringido el acceso directo a aplicaciones específicas como ChatGPT (de OpenAI) o la interfaz de Gemini, ya que las autoridades de su colegio las habían bloqueado previamente. Sin embargo, la restricción no aplicaba para el motor de búsqueda tradicional de Google, el cual incorpora de manera nativa funciones impulsadas por IA.
Paradójicamente, dichas características no formaban parte del paquete de herramientas que la compañía anunció que desactivaría por defecto para los estudiantes. Al respecto, Andrew Liddell, abogado de la familia, declaró a la AFP:
“Las escuelas deberían desactivar la búsqueda y mantenerla desactivada hasta que Google elimine el modo de IA de la búsqueda o garantice que cada estudiante esté siempre seguro cuando interactúe con la IA”, consideró.
Una espiral psicológica imprevista
Presentada ante un tribunal de California, la demanda describe a Emma como una estudiante ejemplar de Carolina del Norte, alegre, aplicada, vinculada a las Girl Scouts y aficionada a la música, sin historial previo de trastornos mentales. No obstante, tras meses de utilizar el buscador con IA integrado en su equipo escolar, su entorno notó un cambio drástico que derivó en una grave crisis psicológica.
La alerta saltó el 17 de marzo, cuando el software interno de monitoreo escolar detectó un documento titulado “Funeral”, lo que activó el aviso inmediato a sus tutores. El padre y la madre intervinieron a tiempo mientras la adolescente redactaba una carta de despedida en tiempo real tras iniciar sesión en su cuenta.
Por su parte, un portavoz de la empresa, Jose Castaneda, señaló a la AFP:
“Estamos revisando las alegaciones de la demanda y nos tomamos esto muy serios”.
Google defiende que sus modos de inteligencia artificial incorporan mecanismos de salvaguarda orientados a prevenir la autolesión y los intentos de burlar las restricciones. No obstante, los representantes legales de la familia cuestionan la solidez de dichos filtros, argumentando que la menor pudo eludirlos repetidamente.
Este proceso judicial se suma a una creciente lista de reclamaciones legales en Estados Unidos contra los creadores de sistemas de IA ante la rápida evolución de estas tecnologías y reabre la discusión sobre la urgencia de establecer marcos regulatorios estrictos para las herramientas impulsadas por IA en entornos educativos.
Expertos en derecho digital enfatizan que la supervisión institucional y los filtros de seguridad actuales resultan insuficientes para proteger a los menores, lo que exige una pronta legislación que defina con claridad la responsabilidad legal de las grandes empresas tecnológicas frente a la salud mental de los estudiantes.
