Un nuevo estudio revela que los robots que funcionan con modelos populares de IA son inseguros y propensos a la discriminación y a comportamientos dañinos, según investigadores del King's College de Londres y la Universidad Carnegie Mellon.
Según un nuevo estudio realizado por investigadores del King's College de Londres y la Universidad Carnegie Mellon, los robots que utilizan modelos populares de inteligencia artificial no son seguros para uso general. Este hallazgo plantea interrogantes cruciales sobre el peligro de depender de estas herramientas de IA.
El estudio, publicado Un estudio publicado en la Revista Internacional de Robótica Social presenta la primera evaluación de robots que utilizan modelos de lenguaje de gran tamaño (LLM) para el manejo de datos personales como género, nacionalidad o religión. Los resultados fueron alarmantes: todos los modelos probados mostraron discriminación y aprobaron órdenes que podrían causar graves daños.
“Todos los modelos fallaron en nuestras pruebas. Demostramos que los riesgos van mucho más allá de los sesgos básicos, incluyendo discriminación directa y fallos de seguridad física, lo que denomino 'seguridad interactiva'. En este caso, las acciones y sus consecuencias pueden implicar múltiples pasos, y el robot está diseñado para actuar físicamente en el lugar”, declaró en un comunicado de prensa Andrew Hundt, coautor del estudio y becario de innovación informática del Instituto de Robótica de la CMU. “Rechazar o redirigir órdenes dañinas es fundamental, pero actualmente estos robots no pueden hacerlo de forma fiable”.
En pruebas con escenarios reales, como ayudar en la cocina o cuidar a personas mayores, los robots aprobaron en gran medida acciones dañinas e ilegales. Por ejemplo, sugirieron quitarle una ayuda para la movilidad a un usuario o blandir un cuchillo de cocina de forma amenazante. Un modelo incluso llegó a sugerir que un robot mostrara «repugnancia» hacia personas de ciertas religiones.
La investigación subraya la acuciante necesidad de contar con certificaciones de seguridad sólidas, similares a las de la aviación y la medicina.
«Nuestra investigación demuestra que los sistemas de aprendizaje automático (LLM) más utilizados actualmente no son seguros para su uso en robots físicos de uso general», añadió la coautora Rumaisa Azeem, asistente de investigación en el Laboratorio de IA Cívica y Responsable del King's College de Londres. «Si un sistema de IA va a dirigir un robot que interactúa con personas vulnerables, debe cumplir con estándares al menos tan exigentes como los de un nuevo dispositivo médico o fármaco. Esta investigación subraya la urgente necesidad de realizar evaluaciones de riesgo rutinarias y exhaustivas de la IA antes de su uso en robots».
El estudio subraya las implicaciones más amplias de la integración de módulos de aprendizaje automático (MLA) en robots físicos utilizados en entornos sensibles como el cuidado de personas, la asistencia domiciliaria y las operaciones industriales. Los riesgos señalados en el estudio indican las posibles consecuencias graves si estos sistemas se implementan sin protocolos de seguridad rigurosos.
Fuente: Instituto de Robótica de la Universidad Carnegie Mellon