NeurIPS : de quoi s’agit-il ?
NeurIPS (Conference on Neural Information Processing Systems) est l’un des événements scientifiques les plus importants en intelligence artificielle. NeurIPS rassemble chaque année des milliers de chercheurs du monde entier pour présenter leurs travaux de recherche et échanger sur l’avenir du Machine learning. Les membres de l’équipe R&D de reciTAL seront donc parmi les intervenants lors de cet événement qui se tiendra du 6 au 14 décembre 2021.
“ La nouvelle publication à NeurIPS est l’aboutissement de plusieurs années de recherche. C’est une énorme fierté et une belle reconnaissance pour l’équipe R&D de reciTAL. Les 6 publications acceptées en 2021 (5 à EMNLP et une à NeurIPS) témoignent de la qualité de la recherche menée par l’équipe reciTAL mais aussi de notre engagement de faire avancer la recherche en Intelligence Artificielle et en Machine Learning. ” – déclare Thomas Scialom, Research Scientist chez reciTAL.
A propos de la publication acceptée
L’article accepté à NeurIPS se focalise sur les modèles génératifs (Generative Models).
Les modèles génératifs deviennent la norme en NLP. Par exemple, le plus gros modèle de langue, GPT-3, considère toutes les tâches du langage comme des tâches génératives, comme la classification, l’extraction d’information ou le Question Answering.
Par conséquent, améliorer les modèles génératifs peut potentiellement améliorer toutes les tâches en Traitement du Langage.
Jusqu’à présent, les modèles génératifs avaient tendance à générer des textes faciles à discerner d’un texte écrit par un humain, et contenant de nombreuses erreurs.
Une façon de contourner ce problème consiste à faire appel aux GAN (Generative Adversarial Networks). Dans ce cas, un discriminateur essaye de détecter si un texte est généré par une machine ou écrit par un humain, et la machine s’entraîne à tromper le discriminateur.
Avec ce procédé d’apprentissage, la qualité du texte généré par le modèle est largement améliorée.
