Pratiques d’évaluation en ASR et biais de performance
Mahault Garnerin, Solange Rossato et Laurent Besacier
Nous proposons une réflexion sur les pratiques d’évaluation des systèmes de reconnaissance automatique de la parole (ASR). Après avoir défini la notion de discrimination d’un point de vue légal et la notion d’équité dans les systèmes d’intelligence artificielle, nous nous intéressons au pratiques dans les grandes campagnes d’évaluation. La variabilité de la parole et plus particulièrement celle de l’individu n’est pas prise en compte dans les protocoles actuels rendant impossible l’étude de possible biais dans les systèmes.
ETeRNAL-2 : Comment arpenter sans mètre ?
Comment arpenter sans mètre : les scores de résolution de chaînes de coréférences sont-ils des métriques ?
Adam Lion-Bouton, Loïc Grobol, Jean-Yves Antoine, Sylvie Billot et Anaïs Lefeuvre-Halftermeyer
Cet article présente un travail qui consiste à étudier si les scores les plus utilisés pour l’évaluation de la résolution des coréférences constituent des métriques de similarité normalisées. En adoptant une démarche purement expérimentale, nous avons vérifié si les scores MUC, B3, CEAF, BLANC, LEA et le meta-score CoNLL respectent les bonne propriétés qui définissent une telle métrique. Notre étude montre que seul le score CEAFm est potentiellement une métrique de similarité normalisée.
ETeRNAL-3 : Que recèlent les données textuelles issues du web ?
Que recèlent les données textuelles issues du web ?
Adrien Barbaresi et Gaël Lejeune
La collecte et l’usage opportunistes de données textuelles tirées du web sont sujets à une série de problèmes éthiques, méthodologiques et épistémologiques qui méritent l’attention de la communauté scientifique. Nous présentons des études empiriques de leur impact en linguistique et TAL centrées sur la forme (méthodes d’extraction des données) ainsi que sur le fond (contenu des corpus).
ETeRNAL-5 : 1990-2020 : retours sur 30 ans d’échanges autour de l’identification de voix en milieu judiciaire
1990-2020 : retours sur 30 ans d’échanges autour de l’identification de voix en milieu judiciaire
Jean-Francois Bonastre
En 1990, la communauté « communication parlée » a voté une motion affirmant que « l’identification d’un individu par sa voix est à l’heure actuelle un problème à sa connaissance non résolu ». Cette motion est toujours en vigueur, après avoir été réaffirmée en 1997 et renforcée par une pétition en 2002. Ces actions ont eu des répercussions profondes, à la fois sur le milieu académique et sur le monde de la justice, avec des aspects positifs certains mais entrainant aussi des éléments surprenants, parfois controversés et/ou pouvant apparaitre contreproductifs. Cet article revient sur cette séquence historique allant de la motion initiale aux actions contemporaines et la questionne.
ETeRNAL-4 : Répliquer et étendre pour l’alsacien
Répliquer et étendre pour l’alsacien “Étiquetage en parties du discours de langues peu dotées par spécialisation des plongements lexicaux”
Alice Millour, Karën Fort, Pierre Magistry
Nous présentons ici les résultats d’un travail de réplication et d’extension pour l’alsacien d’une expérience concernant l’étiquetage en parties du discours de langues peu dotées par spécialisation des plongements lexicaux (Magistry2018). Ce travail a été réalisé en étroite collaboration avec les auteurs de l’article d’origine. Cette interaction riche nous a permis de mettre au jour les éléments manquants dans la présentation de l’expérience, de les compléter, et d’étendre la recherche à la robustesse à la variation.