Description d'un protocole d'évaluation automatique comme alternative à l'évaluation humaine. Application à la validation de relations syntaxiques induites - LIRMM - Laboratoire d’Informatique, de Robotique et de Microélectronique de Montpellier
Communication Dans Un Congrès Année : 2009

Description d'un protocole d'évaluation automatique comme alternative à l'évaluation humaine. Application à la validation de relations syntaxiques induites

Résumé

Cet article propose un protocole d'évaluation afin de valider la qualité d'approches, visant à évaluer et à ordonner automatiquement des relations syntaxiques dites induites. Les approches évaluées se fondent sur l'interrogation d'un moteur de recherche sur le Web. Les résultats du moteur de recherche sont alors couplés avec diverses mesures statistiques : l'information mutuelle, l'information mutuelle au cube, le coefficient de Dice et la fréquence, ou popularité. Le protocole d'évaluation propose d'utiliser deux corpus, le premier de test et le second de validation, appartenant tous deux au même domaine. Le principe est de retrouver dans le second corpus les relations syntaxiques induites, non présentes originalement dans le premier corpus. Il est alors étudié la taille minimale du corpus d'évaluation afin de permettre une évaluation pertinente.
Fichier principal
Vignette du fichier
NB_EvalECD.pdf (457.34 Ko) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)
Loading...

Dates et versions

lirmm-00370815 , version 1 (25-03-2009)

Identifiants

  • HAL Id : lirmm-00370815 , version 1

Citer

Nicolas Béchet. Description d'un protocole d'évaluation automatique comme alternative à l'évaluation humaine. Application à la validation de relations syntaxiques induites. Evaluation des Méthodes d'Extraction de Connaissances dans les Données, Atelier de EGC'09, France. pp.A525-A534. ⟨lirmm-00370815⟩
106 Consultations
162 Téléchargements

Partager

More