Défi Fouille de Textes : reconnaissance automatique des auteurs de discours - Campagne DEFT'05 (TALN'05)
Résumé
La création du Défi Fouille de Textes, inspiré au départ de la tâche Novelty de TREC, a en réalité pour objectif principal de permettre aux chercheurs du monde francophone de confronter leurs travaux avec un problème, beaucoup plus que de primer une équipe, une méthode, ou un outil. Plusieurs défis existent dans le monde anglo-saxon et asiatique. De façon étonnante, le monde européen semble très réticent à accepter de telles comparaisons ”objectives”. Cela s'explique aussi évidemment par le manque d'intérêt des décideurs, qui ne se résolvent pas à financer de tels projets. Certains d'entre nous ont participé au défi TREC, organisé par le service des standards américains, et donc financé par l'état américain. Les sujets de travail proposés par l'équipe de TREC tendent à se modeler sur la volonté des participants. Du fait d'une forte participation statisticienne, ils se sont donc focalisés sur les problèmes de très grandes quantités de données, de traitement du bruit, plutôt que sur les problèmes de compréhension détaillée du contenu du texte. L'année où nous avons participé à TREC (2004), par exemple, le thème ”bioinformatique” proposait une épreuve dans laquelle des renseignements précis et individualisés étaient à retrouver dans les textes. Ce sous thème n'a reçu qu'une seule réponse et a donc été abandonné l'année suivante au profit de sous thèmes plus populaires. Nous avons donc essayé de lancer une épreuve française dans laquelle nous tenterions de ne pas favoriser systématiquement une approche plutôt qu'une autre.