Pour répondre efficacement aux commentaires haineux sur Internet, la condition la plus importante est de les détecter rapidement et de manière fiable. Le projet Stop Hate Speech utilise pour cela l'algorithme Bot Dog, qui a été entraîné en collaboration avec des scientifiques de l'EPFZ et de l'université de Zurich. Une étude retraçant en détail le développement et l'entraînement de l'algorithme a été présentée et publiée fin 2022 dans le cadre d'une conférence internationale spécialisée (EMNLP 2022).

Bot Dog est basé sur un ensemble de données exclusif comprenant plus de 420 000 commentaires en ligne en allemand et en français. Ceux-ci ont été évalués par une communauté en ligne et par des étudiant-es afin de déterminer s'ils comportaient des propos haineux et, le cas échéant, contre qui ils étaient dirigés (plus d'informations sur la définition du Hate Speech). Grâce à cette grande quantité d'exemples, l'algorithme a pu apprendre à reconnaître le Hate Speech en allemand et en français sur les plateformes médiatiques suisses et sur Twitter.

L'algorithme a été développé par une équipe de chercheurs et chercheuses de l'EPFZ et de l'université de Zurich, sous la direction d'Ana Kotarcic, pendant un an et sur plusieurs itérations. Les bases ont été établies avec un système de classification statistique simple. Le procédé permet, même avec des quantités de données nettement plus petites, d'identifier les commentaires qui sont susceptibles de contenir de la haine. L'essentiel est de vérifier en permanence la précision de l'algorithme à chaque itération grâce à l'évaluation humaine ("human-in-the-loop"). Cela garantit en même temps que de nouveaux commentaires en ligne sont régulièrement évalués, grâce auxquels Bot Dog continue d'apprendre.

Le nombre croissant de commentaires en ligne évalués à chaque itération a permis d'entraîner l'algorithme de Bot Dog à l'aide de modèles de transformeur les plus modernes dans le domaine du Machine Learning. En comparaison avec d'autres algorithmes de classification multilingues du discours de haine, Bot Dog est même le plus précis. Et c'est jusqu'à présent le seul algorithme qui a été développé spécifiquement pour le contexte suisse.

Mais l'étude démontre également que la haine en ligne évolue constamment. Un algorithme qui fonctionne bien aujourd'hui peut être beaucoup moins efficace dans quelques mois. Cela souligne l'importance d'entraîner continuellement Bot Dog avec des données récentes. Dans le projet Stop Hate Speech, l'algorithme permet de surveiller régulièrement les propos haineux et les processus de modération. Cela permet par exemple de répondre efficacement à la haine (plus d'informations sur le contre-discours). Il est donc important non seulement de pouvoir identifier rapidement les commentaires haineux, mais également que cette identification reste fiable et actuelle.

L'étude: Ana Kotarcic, Dominik Hangartner, Fabrizio Gilardi, Selina Kurer and Karsten Donnay. (2022). Human-in-the-Loop Hate Speech Classification in a Multilingual Context. In Findings of the Association for Computational Linguistics: EMNLP 2022, Abu Dhabi, United Arab Emirates. Association for Computational Linguistics.