arabe – JEP-TALN-RECITAL 2020

Projet AMIS : résumé et traduction automatique de vidéos

Mohamed Amine Menacer, Dominique Fohr, Denis Jouvet, Karima Abidi, David Langlois and Kamel Smaïli

La démonstration de résumé et de traduction automatique de vidéos résulte de nos travaux dans le projet AMIS. L’objectif du projet était d’aider un voyageur à comprendre les nouvelles dans un pays étranger. Pour cela, le projet propose de résumer et traduire automatiquement une vidéo en langue étrangère (ici, l’arabe). Un autre objectif du projet était aussi de comparer les opinions et sentiments exprimés dans plusieurs vidéos comparables. La démonstration porte sur l’aspect résumé, transcription et traduction. Les exemples montrés permettront de comprendre et mesurer qualitativement les résultats du projet.

Analyse de sentiments des vidéos en dialecte algérien. Mohamed Amine Menacer, Karima Abidi, Nouha Othman, Kamel Smaïli. Actes de la 6e %conférence conjointe Journées d’Études sur la Parole (JEP, 31e édition), Traitement Automatique des Langues Naturelles (TALN, 27e édition), Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (RÉCITAL, 22e édition). Volume 2 : Traitement Automatique des Langues %Naturelles, Jun 2020, Nancy, France. pp.296-304

Summarizing videos into a target language: Methodology, architectures and evaluation. Kamel Smaïli, Dominique Fohr, Carlos-Emiliano %González-Gallardo, Michał Grega, Lucjan Janowski, Denis Jouvet, Arian Koźbiał, David Langlois, Mikołaj Leszczuk, Odile Mella, Mohamed-Amine Menacer, Amaia Mendez, Elvys Linhares Pontes, Eric Sanjuan, Juan-Manuel Torres-Moreno, Begona Garcia-Zapirain. Journal of Intelligent and Fuzzy Systems, IOS Press, 2019, 1, pp.1-12. ⟨10.3233/JIFS-179350⟩

A Fine-grained Multilingual Analysis Based on the Appraisal Theory: Application to Arabic and English Videos. Karima Abidi, Dominique Fohr, Denis Jouvet, David Langlois, Odile Mella, Kamel Smaïli. ICALP: International Conference on Arabic Language Processing, Oct 2019, Nancy, France. pp.49-61, ⟨10.1007/978-3-030-32959-4_4⟩

Extractive Text-Based Summarization of Arabic videos: Issues, Approaches and Evaluations. Mohamed Amine Menacer, Carlos González-Gallardo, Karima Abidi, Dominique Fohr, Denis Jouvet, David Langlois, Odile Mella, Fadih Sadat, Juan Torres-Moreno, Kamel Smaïli. ICALP: International Conference on Arabic Language Processing, Oct 2019, Nancy, France. pp.65-78, ⟨10.1007/978-3-030-32959-4_5⟩

A First Summarization System of a Video in a Target Language. Kamel Smaïli, Dominique Fohr, Carlos González-Gallardo, Michal Grega, Lucjan Janowski, Denis Jouvet, Artur Komorowski, Arian Kozbial, David Langlois, Mikolaj Leszczuk, Odile Mella, Mohamed Amine Menacer, Amaia Mendez, Elvys Linhares Pontes, Eric Sanjuan, Damian Swist, Juan-Manuel Torres-Moreno, Begona Garcia-Zapirain. MISSI 2018 – 11th edition of the International Conference on Multimedia and Network Information Systems, Sep 2018, Wrocław, Poland. pp.1-12

An Integrated AMIS Prototype for Automated Summarization and Translation of Newscasts and Reports. Michał Grega, Kamel Smaïli, Mikołaj Leszczuk, Carlos-Emiliano González-Gallardo, Juan-Manuel Torres-Moreno, Elvys Linhares Pontes, Dominique Fohr, Odile Mella, Mohamed Menacer, Denis Jouvet. MISSI 2018 – 11th International Conference on Multimedia and Network Information Systems, Sep 2018, Wroclaw, Poland. pp.415-423, ⟨10.1007/978-3-319-98678-4_42⟩

A Proposed Methodology for Subjective Evaluation of Video and Text Summarization. Begona Garcia-Zapirain, Cristian Castillo, Aritz Badiola, Sofia Zahia, Amaia Mendez, David Langlois, Denis Jouvet, Juan-Manuel Torres-Moreno, Mikołaj Leszczuk, Kamel Smaïli. MISSI 2018 – 11th edition of the International Conference on Multimedia and Network Information Systems, Sep 2018, Wrocław, Poland. pp.396-404, ⟨10.1007/978-3-319-98678-4_40⟩

Voici la vidéo initiale :

Puis les vidéos pour les quatre scénarios :

Scénario 1
- télécharger la vidéo (2 fichier .mp4 + .srt à lire par exemple avec VLC)
- Commentaire : la vidéo 1, résultat du scénario 1, est le résumé le plus complet, il comporte un maximum d’événements de la vidéo d’origine. En revanche, le continuum de textes ne permet pas de se faire une idée précise du contenu de la vidéo d’origine. En effet, la concaténation de trames de vidéos correspondant chacune à une séquence différente rend la compréhension laborieuse voire impossible. Rien d’étonnant dans ce résultat puisque la reconnaissance de la parole, dans ce scénario, agit sur un résumé de vidéo n’utilisant aucune information linguistique de son contenu.
Scénario 2
- télécharger la vidéo (2 fichier .mp4 + .srt à lire par exemple avec VLC)
- Commentaire : le scénario 2 a produit un très bon résumé de la vidéo d’origine. Elle est composée d’une s séquence d’événements cohérents extraits à l’aide du composant “Résumé audio”. La concaténation de ces séquences de vidéos et de leurs sous-titres a conduit à la production d’un résumé facile à comprendre et représentant les idées principales de la vidéo de départ.
Scénario 3
- télécharger la vidéo (2 fichier .mp4 + .srt à lire par exemple avec VLC)
- Commentaire : la vidéo 3 se focalise uniquement sur un seul événement de la vidéo de départ, néanmoins le résumé de cette séquence est excellent. En revanche, ce résultat ne peut pas être considéré comme un résumé de la vidéo de départ puisqu’il ne concerne qu’un seul événement. Ce qui est surprenant est que ce résumé est le résultat de la traduction de la transcription de la vidéo complète.
Scénario 4
- télécharger la vidéo (2 fichier .mp4 + .srt à lire par exemple avec VLC)
- Commentaire : le scénario 4 est en quelque sorte similaire au scénario 3, sauf que le système, cette fois-ci, a réussi à capter plus d’événements, mais pas tous, et comme dans le scénario précédent, les séquences récupérées sont de qualité et compréhensibles.