EXCLUSIVO: Amenaza Escolar en Quilmes: Tras el alerta del FBI por ChatGPT, Daniela Buján advirtió “un menor no es simplemente un adulto al que hay que aplicarle un filtro de contenido”
La investigación por la amenaza de masacre en una escuela de Quilmes impulsada por un adolescente de 15 años volvió a colocar en el centro del debate público el rol de la inteligencia artificial frente a menores.
El caso comenzó el 19 de agosto cuando el FBI envió una alerta a las autoridades argentinas tras detectar que un estudiante expresaba intenciones de cometer un tiroteo escolar en chats de ChatGPT.
A partir de este escenario, la especialista Daniela Buján, cofundadora de Auroria, planteó la necesidad urgente de discutir qué tipo de respuesta debe exigirseles a las plataformas tecnológicas ante señales de extremo peligro.
La responsabilidad humana frente a las alertas en red
Para Daniela Buján, el debate sobre la seguridad digital suele centrarse en bloqueos o filtros automáticos de contenido que resultan insuficientes cuando del otro lado hay un adolescente en crisis.
La referente en tecnología remarcó que la situación no desaparece cuando el sistema se limita a bloquear una respuesta o a negar información peligrosa.
“Sigue habiendo un chico que acaba de expresar algo gravísimo. Una IA puede reconocer una señal, pero cuidar, interpretar el contexto, evaluar e intervenir siguen siendo responsabilidades humanas“, explicó la experta.
Asimismo, sostuvo que es necesario cuestionar la idea de que un joven puede utilizar las mismas herramientas de propósito general diseñadas originalmente para la población adulta.
El diseño pedagógico y los límites de los modelos conversacionales
La cofundadora de Auroria advirtió sobre fenómenos propios de los modelos conversacionales, como la complacencia o tendencia del sistema a coincidir excesivamente con las posturas planteadas por los usuarios.
Frente a esa dinámica, Daniela Buján enfatizó que un desarrollo enfocado en la infancia debe contemplar la madurez emocional y el desarrollo de la autonomía del estudiante.
“Una inteligencia artificial para menores no puede estar diseñada únicamente para resultar amable, útil o agradable. Tiene que saber contradecir, poner límites y reconocer que existen conversaciones que no le corresponde sostener sola”, afirmó.
Desde Auroria, la plataforma pedagógica desarrollada en Argentina, insisten en que la protección de los menores debe formar parte de la arquitectura de software desde la fase inicial de desarrollo.
El rol indispensable de los adultos responsables
La especialista remarcó que ninguna herramienta informática puede reemplazar la mirada, el diagnóstico ni la contención de los docentes y las familias en la vida real.
Buján argumentó que la tecnología debe funcionar como una mediadora que derive las alertas hacia los adultos responsables en lugar de intentar resolver la interacción dentro de la máquina.
“Antes de acercar una IA a un chico necesitamos saber para quién fue diseñada, qué límites reconoce, qué comportamientos evita reforzar, qué lugar deja para los adultos y qué ocurre cuando la conversación entra en un terreno donde una máquina ya no debería ser suficiente“, concluyó.
El expediente judicial tramitado en Quilmes continúa su marcha, pero abrió un precedente inevitable sobre la regulación y los estándares éticos exigibles a las empresas tecnológicas en todo el mundo.
