La era del troll de internet pronto puede llegar a su fin, como lo han demostrado los investigadores de Caltech y Stanford sentó las bases para una herramienta de IA efectiva que las redes sociales podrían usar para marcar el discurso de odio y el acoso en línea.
Esto es particularmente importante hoy, ya que muchos creen que un aumento en la retórica de odio en línea ha habitación hecha por frecuentes tiroteos masivos y crímenes violentos.
Aunque muchos sitios de redes sociales ya han recurrido a la IA para monitorear el discurso de odio y el acoso en sus plataformas, los métodos existentes están lejos de ser perfectos.
En un reciente estudio Investigadores de la Universidad de Washington descubrieron que una herramienta líder de IA diseñada para captar el discurso de odio tenía un sesgo racial contra los afroamericanos. Descubrieron que los tweets eran una vez y media más propensos a ser etiquetados como "ofensivos" cuando los escribían personas negras. Y tenían dos veces más probabilidades de ser etiquetados como "ofensivos" cuando se escribieron en lo que los investigadores llamaron "inglés afroamericano".
Un separado estudio realizado por investigadores de Cornell revelaron hallazgos similares.
Principalmente, esto se debe a que muchas herramientas de IA existentes dependen de palabras clave y no son efectivas para medir el contexto. La "palabra n", por ejemplo, puede ser odiosa o entrañable dependiendo del grupo demográfico en el que se utiliza. Por lo tanto, marcar algo fuera de contexto, estrictamente basado en las palabras utilizadas, no es una solución efectiva.
"Estos sistemas se están desarrollando para identificar el lenguaje que se utiliza para dirigirse a las poblaciones marginadas en línea", dijo Thomas Davidson, un candidato a doctorado en sociología y autor principal del estudio de Cornell. comunicado de prensa. "Es extremadamente preocupante si los mismos sistemas discriminan a la población para la que están diseñados".
Para complementar las herramientas de IA existentes, muchos sitios de redes sociales también dependen de sus usuarios para señalar el discurso abusivo y de odio. Sin embargo, claramente no es una solución efectiva a largo plazo.
"No es escalable que los humanos intenten hacer este trabajo a mano, y esos humanos están potencialmente sesgados", dijo Maya Srikanth, estudiante de tercer año en Caltech y coautora del estudio Caltech / Stanford. comunicado de prensa. “Por otro lado, la búsqueda de palabras clave adolece de la velocidad a la que evolucionan las conversaciones en línea. Los términos nuevos surgen y los términos antiguos cambian de significado, por lo que una palabra clave que se utilizó sinceramente un día podría significar sarcásticamente al día siguiente ".
Por lo tanto, su equipo utilizó un modelo GloVe (Vectores globales para la representación de palabras) para descubrir palabras clave nuevas y relevantes.
GloVe es un modelo de inclusión de palabras. Comenzando con una palabra, se puede usar para encontrar grupos de términos que están relacionados lingüísticamente y semánticamente con la palabra original. Por ejemplo, cuando los investigadores utilizaron el modelo GloVe para buscar en Twitter usos de "MeToo", aparecieron grupos de hashtags relacionados, incluidos "SupportSurvivors", "Not Silent" y "I'm With Her". Este modelo les da a los investigadores capacidad de rastrear palabras clave y frases a medida que evolucionan con el tiempo y les permite encontrar otras nuevas a medida que surgen.
GloVe también considera el contexto, muestra el grado en que las palabras clave específicas están relacionadas y brinda información sobre cómo se usan las palabras. Por ejemplo, en un foro de Reddit en línea utilizado por un grupo de activistas por los derechos de los hombres antifeministas, el modelo determinó que el término "mujer" se usaba más comúnmente con palabras como "coito", "negativo" y "sexual". Pero en Twitter En las publicaciones sobre el movimiento "MeToo", el término "mujer" era más comúnmente junto a palabras como "compañías", "deseo" y "capitalista".
Actualmente, el estudio proporciona una prueba de concepto, demostrando que existe una forma más poderosa y efectiva de detectar el acoso en línea. Sin embargo, después de más pruebas, el equipo espera que sus descubrimientos se puedan utilizar para librar a Internet de los trolls, convirtiendo los sitios de redes sociales en lugares para conversaciones de apoyo y productivas en lugar de conversaciones abusivas.
Anima Anandkumar, coautora del estudio y profesora Bren de Computación y Ciencias Matemáticas en Caltech, explicó que en 2018 se encontró víctima de acoso en línea. "Fue una experiencia reveladora sobre cuán feo puede ser el trolling", dijo en un comunicado de prensa. "Con suerte, las herramientas que estamos desarrollando ahora ayudarán a combatir todo tipo de acoso en el futuro".
