haton89q

est un cas idéal : cette référence a été reconnue cinq fois sur dix de manière parfaite. Parmi les 11170 exécutions, trente-neuf (0,3%) ont abouti à une reconnaissance parfaite.

Le problème donné au système est la chaîne sgml suivante :

<Times-Roman>J.-P. Haton. Introduction to Artificial Intelligence and its Applications.
In </Times-Roman><Times-Italic>Proceedings Seminar Development of Statistical Expert
Systems, Eurostat News Special Edition</Times-Italic><Times-Roman>, pages 21--33,
Luxembourg, 1989.</Times-Roman>

Ici, le système d'évaluation de la solution fournie a jugé qu'elle était parfaite (MP, MN, rappel et précision à 100%). En 12 cycles, le système a produit une solution qui est en effet sans tache au premier niveau de la hiérarchie des champs. Chaque champ attendu a été identifié, à la bonne place.

Si l'on pousse l'analyse de ce qu'a trouvé le système, on s'aperçoit qu'il a commis quelques approximations qui ont bien fonctionné. Par exemple, il a trouvé le champ pages par analogie avec un champ pages qu'il connaissait (dans la base de références de départ) : « 21-24 ». L'agent de détection d'instances a trouvé une grande similarité (96%) avec la chaîne du problème : « 21-33 ». Le résultat est que le système a bien localisé le champ, ce qui était notre préoccupation principale. Sa mesure de similarité a été fortement influencée par la nature chiffrée de la chaîne. En effet, dans les références bibliographiques, les nombres en eux-mêmes ne sont pas primordiaux, c'est leur présence qui l'est.

Le tableau 4.26 montre les valeurs de différentes variables à la fin de chaque cycle du traitement du problème kounalis90a. La deuxième colonne donne la température à la fin du cycle. La colonne RA représente le nombre d'agents non exécutés restant dans le Réservoir d'Agents. Les noeuds comptés sont ceux qui sont considérés comme actifs (c'est-à-dire ayant une valeur d'activation supérieure à 50). La colonne satisfaction contient la satisfaction de l'objet représentant le problème dans le Blackboard ; elle représente le pourcentage du texte du problème que le système considère comme reconnu. La colonne DI donne le nombre d'agents détecteurs d'instance ayant trouvé une instance de leur noeud père. La colonne Juste donne le nombre de champs que le système a justement reconnus (il peut avoir reconnu plus de champs, mais seuls ces champs sont justes). La dernière colonne représente le nombre de champs de premier niveau (ceux qu'on veut reconnaître) qui ont été bien reconnus à cet étape du traitement.

La figure 4.27 présente une vue plus synthétique du comportement du système, fondée sur le nombre des agents exécutés à chaque cycle. La satisfaction n'y dépasse jamais 72%, alors que dans le cas du problème haton89q, elle grimpe jusqu'à 93%.

La satisfaction commence par monter de concert avec le nombre de détecteurs de séparateurs (DS). Plus on découvre de séparateurs, plus la chaîne représentant le problème est « couverte » : les séparateurs étant souvent longs (les changements de polices de caractères prenant souvent 12 caractères), ce comportement est normal, mais peu significatif car ces séparateurs peuvent être trouvés à des endroits totalement inadaptés, tant qu'aucun champ n'existe. Au 5cycle, la satisfaction monte en même temps que le nombre de détecteurs d'instances ayant découvert quelque chose. C'est dû au fait que la couverture du problème est plus grande. Mais on n'a pour l'instant que trop souvent de petits termes qu'on retrouve souvent dans d'autres termes plus grands (comme in, AI, ...).

Du cycle 5 au cycle 6, la satisfaction baisse car de plus grands champs et sous-champs sont trouvés, mais ils sont encore peu étayés par des sous-champs ou des séparateurs internes. Elle remonte ensuite au fur et à mesure que ces champs sont mieux reconnus et que les détecteurs de zone (DZ) sont exécutés. Au onzième cycle, elle redescend à cause de la découverte d'un séparateur erroné (journal-volume qui n'a pas lieu d'être dans cette référence, puisqu'aucun volume n'y est présent), et de la découverte d'instances erronées. On voit aussi que la courbe des détecteurs d'instance est cyclique : c'est dû au fait que l'on désactive les noeuds dont aucune instance n'a été trouvée dans le Blackboard. On peut remarquer que le processus s'est arrêté pour une valeur de température égale à 10.

 

Cycle Temp. RA Noeuds Sat. DI Juste 1er niveau

0 85 5 0 0

1 27 9 7 2

2 30 3 26 10 2

3 18 895 29 5

4 17 46 4882 37 8 1

5 20 2212 5770 70 38 13 3

6 17 1536 5805 53 42 14 2

7 13 108 5857 63 34 11 3

8 17 999 5920 66 17 9 3

9 12 1837 5933 69 21 8 2

10 14 1236 5931 72 19 11 2

11 12 303 5933 71 37 10 2

12 12 581 5960 67 17 9 2

13 10 2170 5998 66 8 9 2

 

  

Figure: Comportement global pour kounalis90a.

Le tableau 4.27 comprend les mêmes informations que le précédent, mais pour le problème haton89q. Il a été résolu en 12 cycles, ce qui est plus rapide que pour kounalis90a, et on peut également noter que le traitement a stoppé alors que la température de BASCET était à 10.

De la même manière que pour kounalis90a, la satisfaction monte d'abord avec les DS (cycles 2 à 4), puis avec les DI (cycles 5 à 6), et avec les DC (cycles 6 à 7), la dernière remontée accompagnant l'exécution des détecteurs de zone (DZ).

 

Cycle Temp. RA Noeuds Sat. DI Juste 1er niveau

0 85 5 0 0

1 33 9 6 2

2 35 3 26 6 2

3 20 894 27 3

4 20 43 4873 41 1 6 1

5 21 2206 5767 71 66 14 3

6 14 1587 5834 84 39 36 5

7 14 105 5881 91 18 27 5

8 13 1002 5916 77 11 32 6

9 11 1791 5913 86 22 36 6

10 10 1249 5922 93 16 45 6

11 10 453 5935 87 10 36 6

 

  

Figure: Comportement global pour haton89q.

La figure 4.29 (page ) montre une descente des températures moins marquée au début pour le problème haton89q, mais on peut remarquer que cette descente est presque continue à partir du cycle numéro 3 (avec une petite montée au cycle numéro 5). Au contraire, pour le problème kounalis90a, la température subit une baisse chaotique, traduisant le caractère instable des découvertes du système.

  

Figure: Évolution des températures lors des traitements des références kounalis90a et haton89q.

La figure 4.30 (page ) montre d'une part le nombre (divisé par 100) d'agents en attente dans le Réservoir d'Agents (RA) au cours du traitement, et d'autre part le nombre d'agents d'arrêt qui ont été exécutés à chaque étape du traitement.

Il est remarquable que le nombre d'agents dans le RA ne change que très peu d'un problème à l'autre. Ceci est dû surtout au fait que ce nombre dépend en grande partie des paramètres du système : pourcentage d'agents du RA à exécuter, seuil d'activation des noeuds du RC (pour qu'ils puissent lancer des agents dans le RA), ... Ce nombre d'agents varie cycliquement : en effet, un agent qui échoue est inhibé pour un certains nombre d'étapes, et il désactive aussi son noeud « père », qui l'a lancé.

Quant aux agents d'arrêt, ils ne peuvent être lancés qu'à partir du cycle numéro 7. C'est pourquoi aucun n'est exécuté avant ce cycle. De plus leur valeur d'urgence est très faible : 5%, c'est pourquoi ils ne sont choisis pour être exécutés que lorsque la plupart des autres agents l'ont été (quand le RA est presque vide). Le nombre d'agents d'arrêt dans le RA augmente donc au fur et à mesure des cycles (un noeud père continuant à chaque tour de lancer un agent d'arrêt). La probabilité pour que le choix probabiliste des agents tombe sur un agent d'arrêt augmente à mesure qu'augmente la proportion d'agents d'arrêt dans le RA.

Dans le cas haton89q, le traitement s'est arrêté car la température était basse (cf. figure 4.29), et le nombre d'agents d'arrêt exécutés augmentait fortement. Ce nombre a augmenté à cause du fait que la proportion d'agents d'arrêt (AR) dans le RA a augmenté (le nombre d'agents total dans le RA avait beaucoup diminué). Le système était donc dans le creux de la vague des agents. Rappelons que les agents s'inhibent pour un certain nombre de tours dans deux cas : quand ils ont échoué (auquel cas, ils ne s'exécuteront plus avant longtemps : ils désactivent aussi leur noeud père), et quand ils ont réussi, afin de ne pas recommencer une recherche inutilement. Le système était donc dans un état où les agents qui avaient échoué n'étaient plus représentés dans le RA, et où les agents ayant réussi n'y étaient pas encore re-représentés.

Dans le cas kounalis90a, le nombre d'agents d'arrêt exécutés n'a pas augmenté linéairement comme dans le cas précédent. C'est dû à la faible proportion de ces agents dans le RA, même si le nombre d'agents qui y était présents était semblable à celui du cas précédent. Rappelons en effet que dans le meilleur des cas, le nombre d'AR postés ne peut qu'être égal au nombre de noeuds de type champ dans le RC. Or, ces noeuds sont peu nombreux (35), comparativement au nombre de noeuds de type spécifique (cf. page ).

Lors du dernier cycle (numéro 13), le nombre d'agents d'arrêts exécutés diminue fortement, en partie à cause de la croissance du nombre d'agents dans le RA. Il ne faut toutefois pas perdre de vue que l'arrêt du traitement a pu être décidé au tout début d'un cycle, rendant hasardeuse la comparaison des chiffres de ce cycle avec ceux des précédents.

  

Figure: Évolution du nombre des agents en attente et du nombre d'agents d'arrêt lors des traitements des références kounalis90a et haton89q.

La figure 4.31 montre les satisfactions de l'objet représentant le problème dans le Blackboard. Jusqu'au cycle numéro cinq, leur évolution est semblable pour les deux problèmes, mais elle oscille ensuite autour de 65% pour kounalis90a. Pendant ce temps, la satisfaction du problème haton89q, elle, continue à monter jusqu'à 91%, avant de redescendre à 77%, ce qui est tout-de-même plus que toutes les satisfactions du problème concurrent. Ensuite, elle remonte jusqu'à 93%, ce qui montre bien la meilleure reconnaissance dont le problème bénéficie (6 champs du premier niveau justes, contre 3 au maximum pour l'autre problème).

  

Figure: Évolution des satisfactions des traitements des références kounalis90a et haton89q.

Il est évident que la satisfaction du problème dépend du nombre d'instances (disons de feuilles du Réseau de Concepts) trouvées. Ceci peut se vérifier sur les figures 4.27 et 4.28. Une différence fondamentale entre le traitement des deux références est le nombre de détecteurs d'instances qui ont réussi au cycle numéro 5, et leur évolution par la suite. La figure 4.32 montre clairement que bien plus de DI ont réussi au cycle 5 pour le problème le mieux résolu (66) que pour l'autre (38). Ce sont souvent de petits mots qui ont été trouvé, qui sont en fait souvent des parties de termes plus grands, mais ils aident à déterminer le type de leur champ. Par exemple, une instance de page est discriminante : elle contient des chiffres séparés par un tiret, ce que ne contiendront que très rarement des champs comme le titre ou les auteurs...

Ensuite, le nombre de DI ayant réussi à trouver de meilleurs termes diminue régulièrement et fortement (jusqu'à 11 au cycle numéro 8), cela signifie que les termes trouvés étaient déjà fortement satisfaisant, et que seuls quelques détails ont dû être corrigés. Au contraire, pour kounalis90a, leur nombre commence par augmenter, et descend petit à petit, mais jamais sous la barre des 17 (sauf au dernier cycle qui, comme nous l'avons déjà signalé, n'est guère significatif). Ce comportement dénote le fait que le système « hésite » sur plusieurs termes, que le jeu des différents agents construisant des objets à un endroit précis du problème en écrasant les précédentes hypothèses ne converge pas. BASCETn'a pas assez de connaissances pour bien résoudre ce problème.

  

Figure: Évolution du nombre d'agents DI ayant réussi lors des traitements des références kounalis90a et haton89q.