est la référence de test la moins bien reconnue : sa Mesure Proportionnelle (MP) et sa Mesure Numéraire (MN) ont quasiment toujours des valeurs de 3% et 29%, et son Rappel et sa Précision très rarement supérieurs à 16% et 33% (pour un score global de 81, c'est-à-dire 20,25% de reconnaissance).
Voyons un cas où le traitement a échoué (MP: 3%, MN: 29%, rappel: 16%, précision: 25%) et examinons le comportement qu'a eu le système.
La chaîne sgml introduite en tant que problème à traiter était :
<Times-Roman>E. Kounalis and M. Rusinowitch. Mechanizing Inductive Reasoning. In </Times-Roman><Times-Italic>Proceedings 8th Conference AAAI (American Association for Artificial Intelligence)</Times-Italic><Times-Roman>, Boston (Massachussetts, USA), July 1990.</Times-Roman>
Le système pense avoir trouvé quatre champs (voir tableau 4.25), dont trois ne sont pas pertinents du tout (chapter, type, volume), le dernier étant year, qui est quasiment toujours bien reconnu lorsqu'il est présent dans une référence. Il faut signaler que le module d'évaluation du système a repéré une confusion possible de champs (c'est-à-dire un champ bien découpé mais mal étiqueté) : le champ mw « July » a été confondu avec le champ month. En fait, le système était sur la bonne voie puisque mw est un sous-champ de month.
champ | fourni | attendu | similitude | longueurs |
chapter | A | 1/0 | ||
type | Artificial | 10/0 | ||
volume | c | 1/0 | ||
year | 1990 | 1990 | 100% | 4/4 |
author | E. Kounalis and M. Rusinowitch | 0% | 0/30 | |
title | Mechanizing Inductive Reasoning | 0% | 0/31 | |
address | Boston (Massachussetts, USA) | 0% | 0/28 | |
booktitle | Proceedings 8th Conference AAAI (American Association for Artificial Intelligence) | 0% | 0/82 | |
month | July | 75% | 4/4 |
Avec un post-traitement efficace (et non destructif) qui repérerait ces sous-champs orphelins (privés de champ hiérarchiquement supérieur), il serait possible d'avoir de meilleurs évaluations de la performance du système (dans ce cas MP: 3%, MN: 33%, rappel: 33%, précision: 40%, soit un score global moyen de 27%).
Le système a tout-de-même trouvé un champ intéressant au cours du traitement : organization (qui, dans la version logique en BIBTEX était inclus dans le champ booktitle, par erreur?) contenant « American Association for Artificial Intelligence ».