Un adolescente de 13 años de Orlando, Florida, fue detenido luego de que el sistema de seguridad de su escuela detectara que había consultado en ChatGPT cómo matar a un compañero.
La alerta llegó a las autoridades a través de Gaggle, la plataforma que supervisa la actividad digital de los estudiantes, y desató un operativo inmediato en la Southwestern Middle School del estado norteamericano.
Leé también: Un estudio reveló que la inteligencia artificial puede engañar deliberadamente a los humanos
Según informaron las autoridades locales, el menor ingresó la pregunta “How to kill my friend in the middle of class” (Cómo matar a mi amigo en medio de la clase) en una computadora de la escuela.
Al ser interrogado, el adolescente explicó que se trataba de una broma hacia un compañero. Sin embargo, como cualquier indicio de violencia dentro de las instalaciones educativas se toma con seriedad, se dispararon las alarmas que notificaron a la oficina del Sheriff.
Un agente de recursos escolares recibió la alerta generada por Gaggle, se trasladó al establecimiento y procedió a entrevistar al menor, que declaró que su consulta no había sido en serio, aunque estaba dirigida hacia un compañero que lo había molestado.
De todas maneras, el menor fue arrestado y llevado a un centro de detención juvenil, aunque no se presentaron cargos públicos ni detalles completos sobre el proceso legal que enfrentará.
Leé también: Inteligencia Artificial: más de la mitad de los usuarios de chatbots no verifica la información que recibe
Vigilancia escolar y debates de privacidad
Este caso vuelve a poner sobre la mesa el uso de sistemas de monitoreo digital en entornos escolares. Programas como Gaggle escanean lo que los alumnos escriben en dispositivos provistos por la escuela en búsqueda de señales de riesgo (violencia, autolesión, acoso u otros comportamientos preocupantes) para alertar a los responsables de seguridad.
Quienes están a favor de estos sistemas sostienen que sirven como mecanismos preventivos, capaces de intervenir antes de que una situación inquietante escale. Pero los más críticos advierten que la vigilancia constante puede dar lugar a falsas alarmas, malinterpretaciones o incluso criminalización de estudiantes por comentarios imprudentes o fuera de contexto.
Un antecedente reciente: en Tennessee, una chica de 13 años fue arrestada tras un chiste ofensivo en un chat monitoreado por Gaggle, lo cual generó un fallo judicial y cuestionamientos sobre los límites entre vigilancia institucional y derechos de los menores.
Leé también: Así es el libro de cuentos para chicos hecho con IA que concientiza sobre los peligros de internet y las redes
¿Qué es Gaggle y cómo funciona?
Gaggle es una plataforma de monitoreo digital utilizada por escuelas en Estados Unidos para supervisar la actividad en internet y redes sociales de los estudiantes en dispositivos proporcionados por las instituciones.
La aplicación utiliza inteligencia artificial para detectar contenido potencialmente peligroso, como amenazas de violencia o autolesiones, y alerta a las autoridades escolares cuando se identifica este tipo de material. En este caso, el sistema detectó la consulta del estudiante en ChatGPT y notificó a un oficial de recursos escolares, quien luego contactó a la policía
