Investigadores de la Universidad Estatal de Carolina del Norte han desarrollado una novedosa técnica de IA para superar las correlaciones falsas, incluso si son desconocidas. Este avance podría mejorar significativamente el rendimiento y la fiabilidad de los modelos de IA.
Los investigadores de la Universidad Estatal de Carolina del Norte han presentado una nueva técnica para abordar uno de los problemas más persistentes en el entrenamiento de modelos de inteligencia artificial (IA): las correlaciones espurias. Estas correlaciones a menudo hacen que los sistemas de IA tomen decisiones basadas en información irrelevante o engañosa, lo que dificulta la precisión y la confiabilidad de estos modelos.
“Esta técnica es novedosa porque se puede utilizar incluso cuando no se tiene idea de en qué correlaciones espurias se basa la IA”, dijo en un comunicado de prensa el autor correspondiente Jung-Eun Kim, profesor adjunto de informática en NC State.
Los modelos de IA, durante su fase de entrenamiento, a veces se aferran a características poco importantes debido a lo que se conoce como sesgo de simplicidad. Por ejemplo, una IA entrenada para identificar perros en fotografías podría usar collares como la característica de identificación principal si muchas imágenes de entrenamiento muestran perros con collares. Esto puede generar resultados erróneos, como identificar incorrectamente a gatos con collares como perros.
Los métodos convencionales para contrarrestar este problema implican la identificación y el ajuste de las características falsas dentro de los datos de entrenamiento. Sin embargo, en muchos casos, localizar estas características falsas no es sencillo ni siquiera posible, lo que hace que los enfoques tradicionales sean ineficaces.
“Nuestro objetivo con este trabajo fue desarrollar una técnica que nos permita cortar correlaciones espurias incluso cuando no sabemos nada sobre esas características espurias”, agregó Kim.
El nuevo método, denominado “poda de datos”, implica eliminar un pequeño subconjunto de las muestras más difíciles de los datos de entrenamiento. Estas muestras suelen obligar al modelo de IA a depender de información irrelevante que conduce a correlaciones falsas.
“Puede haber una variación significativa en las muestras de datos incluidas en los conjuntos de datos de entrenamiento”, añadió Kim. “Algunas de las muestras pueden ser muy simples, mientras que otras pueden ser muy complejas. Y podemos medir cuán 'difícil' es cada muestra en función de cómo se comportó el modelo durante el entrenamiento”.
La hipótesis que subyace a este enfoque es que al eliminar una pequeña fracción de las muestras de datos más desafiantes también se eliminan aquellas con características espurias, mejorando así el rendimiento del modelo sin causar efectos adversos significativos.
Los investigadores demostraron que esta novedosa técnica produce resultados de última generación, superando incluso los métodos existentes que requieren la identificación de características espurias.
El artículo revisado por pares, titulado “Eliminación de correlaciones espurias mediante la poda de datos”, se presentará en la Conferencia Internacional sobre Representaciones de Aprendizaje (ICLR) que se realizará en Singapur del 24 al 28 de abril.
Este avance tiene un potencial significativo para el campo de la IA, ya que promete mayor precisión y confiabilidad en los resultados de los modelos de IA sin la necesidad exhaustiva de identificar y corregir correlaciones espurias individualmente.