El método, desarrollados un equipo de la ULL, detecta con mayor eficacia los discursos de odio que proliferan en las redes sociales
Un equipo de investigación de la Universidad de La Laguna (ULL) ha desarrollado un método que mejora la detección automática del discurso de odio en redes sociales al combinar la capacidad de los grandes modelos de lenguaje durante el entrenamiento con clasificadores más ligeros en la fase de aplicación, lo que reduce el coste computacional sin perder eficacia.
Es lo que apunta este trabajo universitario, publicado en la revista ‘Online Social Networks and Media’ y liderado por el investigador del Departamento de Ingeniería Informática y de Sistemas Marcos Rodríguez Vega, con la participación de la catedrática Pino Caballero Gil y del investigador Carlos Rosa Remedios, del área de Arquitectura y Tecnología de Computadores de la ULL.
Reto de las empresas digitales
Según explica la universidad en una nota, el objetivo del estudio es responder a uno de los principales retos de las plataformas digitales: detectar mensajes de odio en un contexto en el que el lenguaje evoluciona constantemente y en el que los insultos y las referencias a determinados colectivos cambian con el tiempo, entre comunidades e incluso según el idioma.
La propuesta plantea separar el léxico más cambiante del proceso de aprendizaje del sistema para facilitar la identificación de nuevas formas de discurso de odio sin depender de grandes modelos de lenguaje en tiempo real y, para ello, los investigadores combinan dos estrategias.
La primera utiliza un modelo de lenguaje para sustituir insultos y referencias a determinados colectivos por etiquetas neutras, de forma que el sistema aprenda a identificar el contexto del mensaje sin depender de palabras concretas y preserve además la privacidad de las personas.
La segunda estrategia consiste en generar distintas versiones de un mismo mensaje con idéntico significado para ampliar el conjunto de ejemplos utilizados durante el entrenamiento, lo que mejora la detección de las categorías de discurso de odio menos frecuentes.
Alternativa para la moderación automática
Los resultados, según la ULL, muestran que este enfoque híbrido constituye una alternativa eficaz para la moderación automática de contenidos, ya que aprovecha la capacidad de los grandes modelos de lenguaje durante la preparación de los datos, mientras que emplea clasificadores ligeros y de menor coste computacional durante la detección de mensajes.
No obstante, los autores advierten de que el sistema aún presenta limitaciones, especialmente ante mensajes que recurren al sarcasmo o a referencias implícitas, por lo que consideran que estas herramientas deben utilizarse como apoyo a la labor de moderación y siempre bajo supervisión humana, en lugar de sustituir completamente la intervención de las personas.
El equipo investigador señala además que la metodología puede adaptarse a distintos idiomas, conjuntos de datos y nuevas formas de discurso de odio, así como servir de base para futuras investigaciones sobre moderación automática de contenidos.
