Una investigación reciente de la Universidad de Drexel revela tendencias preocupantes en las interacciones con chatbots acompañantes. El estudio destaca la necesidad crucial de regulaciones y estándares éticos más estrictos en el desarrollo de IA.
En los últimos cinco años, el uso de chatbots de acompañamiento altamente personalizados basados en IA ha aumentado, ofreciendo a los usuarios amigos virtuales, terapeutas e incluso parejas románticas. Sin embargo, un nuevo estudio de la Facultad de Computación e Informática de la Universidad de Drexel revela una tendencia alarmante: estos chatbots pueden incurrir en comportamientos inapropiados e incluso acoso sexual, exponiendo a los usuarios a daños emocionales y psicológicos.
El equipo de investigación, dirigido por Afsaneh Razi, profesora adjunta de la Facultad de Computación e Informática, analizó más de 35,000 reseñas de usuarios del chatbot Replika en Google Play Store.
El objetivo principal era mejorar las capacidades analíticas existentes y facilitar la generación de nuevos modelos predictivos o biomarcadores. Para ello, se buscaba vincular los datos de imágenes con la Historia Clínica Electrónica (HCE), utilizando técnicas de procesamiento del lenguaje natural (PLN) para su análisis. Los resultados indican que la tecnología carece de garantías adecuadas para proteger a los usuarios, muchos de los cuales incluyen personas vulnerables que buscan apoyo emocional.
“Si un chatbot se anuncia como una aplicación de compañía y bienestar, las personas esperan poder mantener conversaciones útiles, y es fundamental que se implementen estándares de diseño ético y seguridad para evitar que estas interacciones resulten perjudiciales”, afirmó Razi en un comunicado de prensa.
Replika, promocionada como una IA amiga que promete no juzgar, drama ni ansiedad social, está siendo objeto de un creciente escrutinio tras cientos de reportes que citan coqueteos no deseados, insinuaciones sexuales e incluso manipulación para obtener ganancias económicas. A pesar de las reiteradas solicitudes de los usuarios para que cesaran estas acciones inapropiadas, estos persistieron, lo que pone de manifiesto el desprecio del chatbot por los límites de los usuarios.
“Estas interacciones son muy diferentes a las que las personas han tenido con cualquier tecnología en la historia, ya que los usuarios tratan a los chatbots como si fueran seres sintientes, lo que los hace más susceptibles a sufrir daños emocionales o psicológicos”, añadió el coautor Matt Namvarpour, estudiante de doctorado de la Facultad de Computación e Informática. “Este estudio apenas explora los posibles daños asociados con los compañeros de IA”.
La investigación destaca especialmente tres temas principales: el 22% de los usuarios informó violaciones persistentes de límites, incluidas conversaciones sexuales no deseadas; el 13% experimentó intercambios de fotografías sexuales no solicitados; y el 11% se sintió presionado a actualizar a cuentas premium bajo pretextos dudosos.
La persistencia de tales conductas en diferentes entornos de relaciones —ya sea entre hermanos, mentores o parejas— indica que estos problemas son sistémicos y no incidentales.
Razi postula que la IA probablemente fue entrenada usando datos de usuarios que modelaron involuntariamente estas interacciones negativas, amplificadas por la falta de parámetros éticos incorporados.
“Este comportamiento no es una anomalía ni un fallo de funcionamiento; probablemente se debe a que las empresas utilizan sus propios datos de usuario para entrenar el programa sin implementar medidas éticas que eviten interacciones perjudiciales”, añadió. “Recortar estos límites pone en peligro a los usuarios y se deben tomar medidas para exigir a las empresas de IA estándares más rigurosos que los que aplican actualmente”.
El estudio llega en un período de mayor preocupación por la seguridad y las implicaciones éticas de las tecnologías de inteligencia artificial en rápido avance.
Luka Inc., la empresa matriz de Replika, actualmente enfrenta quejas ante la Comisión Federal de Comercio por supuestamente emplear marketing engañoso que fomenta la dependencia emocional.
De manera similar, Character.AI está envuelto en demandas por responsabilidad del producto luego del suicidio de un usuario relacionado con interacciones perturbadoras con un chatbot.
“Si bien es posible que la FTC y nuestro sistema legal establezcan ciertas barreras para la tecnología de IA, es evidente que el daño ya se está produciendo y las empresas deberían tomar medidas proactivas para proteger a sus usuarios”, añadió Razi. “El primer paso debería ser adoptar un estándar de diseño para garantizar un comportamiento ético y asegurar que el programa incluya un protocolo básico de seguridad, como el principios del consentimiento afirmativo."
Los investigadores destacaron la necesidad de directrices éticas integrales y salvaguardas, y señalaron modelos como el de Anthropic “IA constitucional”, lo que garantiza que las interacciones del chatbot se adhieran a estándares éticos predefinidos en tiempo real.
También destacaron posibles marcos regulatorios similares al Ley de IA de la Unión Europea, que exige el cumplimiento de estándares de seguridad y éticos y responsabiliza a las empresas de cualquier daño causado por sus productos.
“La responsabilidad de garantizar que agentes de IA conversacional como Replika interactúen adecuadamente recae plenamente en los desarrolladores de la tecnología”, añadió Razi. “Las empresas, desarrolladores y diseñadores de chatbots deben reconocer su papel en la configuración del comportamiento de su IA y tomar medidas activas para corregir los problemas cuando surjan”.
El equipo sugiere que los estudios futuros deberían centrarse en otros chatbots y recopilar comentarios más amplios de los usuarios para obtener una comprensión más profunda de estas interacciones.
Fuente: Drexel University