next up previous contents
Next: haton89q Up: Exemples extrêmes Previous: Exemples extrêmes

kounalis90a

est la référence de test la moins bien reconnue : sa Mesure Proportionnelle (MP) et sa Mesure Numéraire (MN) ont quasiment toujours des valeurs de 3% et 29%, et son Rappel et sa Précision très rarement supérieurs à 16% et 33% (pour un score global de 81, c'est-à-dire 20,25% de reconnaissance).

Voyons un cas où le traitement a échoué (MP: 3%, MN: 29%, rappel: 16%, précision: 25%) et examinons le comportement qu'a eu le système.

La chaîne sgml introduite en tant que problème à traiter était :

<Times-Roman>E. Kounalis and M. Rusinowitch. Mechanizing Inductive Reasoning.
In </Times-Roman><Times-Italic>Proceedings 8th Conference AAAI (American
Association for Artificial Intelligence)</Times-Italic><Times-Roman>, Boston
(Massachussetts, USA), July 1990.</Times-Roman>

Le système pense avoir trouvé quatre champs (voir tableau 4.25), dont trois ne sont pas pertinents du tout (chapter, type, volume), le dernier étant year, qui est quasiment toujours bien reconnu lorsqu'il est présent dans une référence. Il faut signaler que le module d'évaluation du système a repéré une confusion possible de champs (c'est-à-dire un champ bien découpé mais mal étiqueté) : le champ mw « July » a été confondu avec le champ month. En fait, le système était sur la bonne voie puisque mw est un sous-champ de month.


 
Table: Comparaison fourni -- attendu pour kounalis90a.
champ fourni attendu similitude longueurs
chapter A 1/0
type Artificial 10/0
volume c 1/0
year 1990 1990 100% 4/4
author E. Kounalis and M. Rusinowitch 0% 0/30
title Mechanizing Inductive Reasoning 0% 0/31
address Boston (Massachussetts, USA) 0% 0/28
booktitle Proceedings 8th Conference AAAI (American Association for Artificial Intelligence) 0% 0/82
month July 75% 4/4
 


Avec un post-traitement efficace (et non destructif) qui repérerait ces sous-champs orphelins (privés de champ hiérarchiquement supérieur), il serait possible d'avoir de meilleurs évaluations de la performance du système (dans ce cas MP: 3%, MN: 33%, rappel: 33%, précision: 40%, soit un score global moyen de 27%).

Le système a tout-de-même trouvé un champ intéressant au cours du traitement : organization (qui, dans la version logique en BIBTEX était inclus dans le champ booktitle, par erreur?) contenant « American Association for Artificial Intelligence ».


next up previous contents
Next: haton89q Up: Exemples extrêmes Previous: Exemples extrêmes
Francois Parmentier
6/19/1998