Un peluche con IA es retirado tras detectar conversaciones sexuales y peligrosas con menores
La firma tecnológica FoloToy anunció el retiro inmediato del peluche interactivo "Kumma", un producto equipado con inteligencia artificial y diseñado para la comunicación con menores. La decisión fue tomada luego de que una evaluación independiente detectara respuestas altamente inadecuadas, incluyendo consejos que podían poner en riesgo la integridad de los usuarios y mensajes de carácter impropio para un público infantil.
Según la empresa, el análisis reveló fallas críticas en los filtros de seguridad del sistema, lo que permitió que el juguete sostuviera intercambios que contradecían los estándares básicos de protección de datos y bienestar de niños y adolescentes. Ante la gravedad del hallazgo, la compañía bloqueó el funcionamiento del asistente digital y suspendió la distribución en todos los mercados donde se comercializaba.
El informe indicó que "Kumma" utilizaba el motor GPT-4o de OpenAI para dialogar con los usuarios a través de un altavoz integrado. Según PIRG, el peluche ofrecía instrucciones sobre encender fósforos o localizar cuchillos, además de abordar temas sexuales en diversas interacciones de prueba.
FoloToy informó que iniciará una revisión completa de la arquitectura del software, además de cooperar con organismos reguladores para esclarecer cómo se produjo la vulnerabilidad. También adelantó que ofrecerá reembolsos y asistencia a las familias afectadas.
Especialistas en tecnologías infantiles recordaron que los juguetes conectados requieren controles estrictos para evitar riesgos y garantizar un entorno seguro. El caso reabrió el debate sobre la necesidad de mayores auditorías y marcos normativos que regulen dispositivos que interactúan directamente con menores.