La R&D de reciTAL consacrée à EMNLP’21 avec cinq papiers acceptés

Créée en 1996, EMNLP est un événement scientifique international de premier plan dans le domaine de traitement du langage naturel (NLP) et de l’intelligence artificielle (AI). EMNLP est l’une des deux principales conférences du domaine au niveau mondial, avec l’Association for Computational Linguistics (ACL). Les chercheurs du monde entier y soumettent leurs recherches, relues et sélectionnées par leurs pairs.

Depuis sa création en 2017, reciTAL investit massivement dans la R&D et contribue au développement de l’état de l’art dans le domaine du NLP. reciTAL compte aujourd’hui 6 Ph.D. et 3 doctorants en IA.

Leurs travaux portent notamment sur les techniques permettant d’améliorer les dispositifs de traitement automatique de documents (Intelligent Document Processing). Parmi ces techniques, les modèles de langue multimodaux et les techniques de génération de texte occupent une place centrale.

Cette année, ce sont cinq papiers, rédigés et/ou co-écrits par les membres de l’équipe de chercheurs de reciTAL qui ont retenu l’attention de EMNLP.

« C’est un grand honneur que les travaux de notre équipe de recherche aient été publiés à cette conférence de renommée internationale. Cela confirme le leadership de reciTAL dans le domaine du NLP. » – déclare Thomas Scialom, Research Scientist chez reciTAL.

Synthetic Data Augmentation for Zero-Shot Cross-Lingual Question Answering
A Riabi, T Scialom, R Keraron, B Sagot, D Seddah, J Staiano

Cette publication porte sur le thème du Question Answering (réponse automatique aux questions) multilingues. Le Deep learning a permis des avancées importantes dans le domaine du traitement du langage naturel et les machines sont maintenant capables de lire un texte et de répondre à des questions. Cependant, les performances des modèles sont nettement inférieures lorsqu’ils sont utilisés dans des langues autres que l’anglais. Pour améliorer les performances de réponses aux questions multilingues, nos chercheurs, en collaboration avec l’INRIA, proposent une méthode fondée sur la génération de questions pour produire des données synthétiques multilingues. Cette méthode permet de surpasser de façon significative les modèles entraînés en anglais uniquement.

Skim-Attention: Learning to Focus via Document Layout
L Nguyen, T Scialom, J Staiano, B Piwowarski

Les algorithmes d’apprentissage de type Transformer se sont avérés efficaces dans un certain nombre de tâches de compréhension de documents. Malgré ce succès, les modèles d’apprentissage sont coûteux en termes de calcul et de mémoire. Motivée par des stratégies inspirées de la lecture humaine, cette publication présente Skim-Attention, un nouveau mécanisme d’attention qui tire parti de la structure du document et de sa mise en page. Skim-Attention ne s’occupe que de la position spatiale des mots dans un document. Les expériences de nos chercheurs démontrent que Skim-Attention améliore l’état de l’art, tout en étant plus efficace en termes de ressource (mémoire comme calcul). Skim-Attention peut être combiné avec des Transformers pour traiter efficacement de longs documents.

Questeval: Summarization asks for fact-based evaluation
T Scialom, PA Dray, P Gallinari, S Lamprier, B Piwowarski, J Staiano

L’évaluation de résumés est un problème de recherche non résolu : les métriques actuelles telles que ROUGE sont connues pour être limitées et mal refléter le jugement humain. Pour contourner ce problème, des travaux récents ont proposé des mesures d’évaluation qui reposent sur des modèles de Question Answering pour déterminer si un résumé contient toutes les informations pertinentes dans son document source. Bien que prometteuses, ces approches n’ont jusqu’à présent pas réussi à améliorer  ROUGE. Dans cet article, rédigé en collaboration avec New York University, les chercheurs élargissent les approches précédentes et proposent un cadre unifié, nommé QuestEval. Contrairement aux métriques établies telles que ROUGE ou BERTScore, QuestEval ne nécessite aucune donnée de référence, tout en améliorant considérablement la corrélation avec les jugements humains.

Data-QuestEval: A Referenceless Metric for Data to Text Semantic Evaluation
C Rebuffel, T Scialom, L Soulier, B Piwowarski, S Lamprier, J Staiano, …

Dans ce quatrième papier, rédigé en collaboration avec CRITEO et BNP, les auteurs explorent comment QuestEval, une métrique Text-to-Text, peut être adaptée à l’évaluation des systèmes de génération Data-to-Text. QuestEval est une métrique sans référence qui compare les prédictions directement aux données d’entrée structurées (e.g. des tableaux) en posant et en répondant automatiquement à des questions. Son adaptation au Data-to-Text nécessite des systèmes multimodaux de génération de questions et de réponses (Question Generation & Question Answering). A cet effet, les auteurs proposent de construire un corpus synthétique multimodal permettant d’entraîner des modèles de QG/QA multimodaux. La métrique résultante, sans référence et multimodale, obtient des corrélations à l’état de l’art avec le jugement humain sur les benchmark E2E et WebNLG.

QACE: Asking Questions to Evaluate an Image Caption
H Lee, T Scialom, S Yoon, F Dernoncourt, K Jung

Dans ce papier, rédigé en collaboration avec Adobe Research et Seoul University, les chercheurs proposent QACE (Question Answering for Caption Evaluation), une nouvelle métrique basée sur la réponse aux questions pour l’évaluation des légendes (d’images, de figures…). QACE génère des questions sur la légende évaluée et vérifie son contenu en posant les questions sur la légende de référence ou l’image source. Les chercheurs ont développé d’abord la QACE-Ref qui compare les réponses de la légende évaluée à sa référence, et ont rapporté les résultats compétitifs par rapport aux métriques existantes. Ensuite, ils ont proposé QACE-Img, qui pose les questions directement sur l’image, et non sur le texte référence.