next up previous contents
Next: Ce que Copycat ne fait pas Up: Copycat Previous: Température

Performances : une vision globale

  Maintenant que nous avons décrit l'architecture de COPYCAT, voyons les performances du programme dans son micro-domaine de chaînes de lettres. Comme nous l'avons dit plus haut, le micro-domaine de COPYCAT a été conçu pour isoler, et donc montrer très clairement quelques aspects essentiels de la perception de haut niveau et de l'analogie en général.

À chaque exécution du programme sur un problème, le programme s'arrête sur une réponse spécifique ; or, comme le programme est imprégné d'indéterminisme, il est possible d'obtenir des réponses différentes (pour le même problème) à chaque exécution. Le programme prend des décisions à des niveaux microscopiques, ce qui est différent de la décision macroscopique du choix de la réponse à fournir. Chaque exécution est différente au niveau microscopique, mais statistiquement, le comportement macroscopique du programme est plus déterministe. 

Le phénomène de déterminisme macroscopique émergent d'un indéterminisme microscopique est souvent illustré dans les musées américains par un plan incliné planté d'une grille dense de clous sur lequel on fait rouler des milliers de billes d'acier. Au bas du plan incliné se trouvent des réceptacles arrangés en colonnes. Bien que chaque bille prenne un chemin unique au niveau microscopique, à mesure que les billes tombent, la forme que dessinent les billes au fond des réceptacles devient une courbe gaussienne parfaite, la plupart d'entre elles tombant au centre. Dans COPYCAT, l'ensemble des réceptacles correspond à l'ensemble des réponses possibles, et le chemin précis que chaque bille suit, aux micro-décisions stochastiques prises par le programme durant une exécution. Avec suffisamment d'exécutions, on verra émerger une courbe régulière des fréquences des réponses, comme la courbe gaussienne émerge régulièrement des réceptacles de la « machine à clous gaussienne ».

Ces fréquences sont présentées sous forme d'histogrammes, un par problème posé, donnant l'occurrence et la température finale moyenne de chaque réponse. Chaque histogramme résume 1000 exécutions de COPYCAT sur le même problème. Le nombre 1000 est arbitraire : après 100 exécutions sur chaque problème, les résultats n'auraient pas beaucoup changé. La seule différence est que plus on exécute le programme sur un problème donné, plus certaines réponses bizarres et marginales commencent à apparaître.


  
Figure 3.4 : Histogramme des résultats sur le problème: abc->abd, ijk-> ?
Histogramme des résultats sur le problème: abc-abd, ijk-> ?

Les performances de COPYCAT sur le problème abc->abd, ijk-> ? sont données sur l'histogramme de la figure 3.4, qui rassemble 1000 exécutions. La température finale moyenne apparaît au-dessus de chaque colonne. La fréquence d'apparition d'un réponse correspond à peu près au fait qu'elle est évidente, ou immédiate, pour le programme. Par exemple, ijl, produite 980 fois, est bien plus immédiate pour le programme que ijd, produite 19 fois, qui est elle-même bien plus évidente à trouver que l'étrange réponse ijj, qui n'a été produite qu'une seule fois. Pour obtenir cette réponse, le programme a décidé de remplacer la lettre la plus à droite par son prédécesseur plutôt que par son successeur. Ce glissement est, en principe, toujours possible, puisque successeur et prédécesseur sont liés dans le Slipnet. Pourtant, comme le montre la rareté de cette réponse, il est extrêmement improbable dans cette situation : sous les pressions produites par le problème, successeur et prédécesseur sont presque toujours considérés comme trop distants pour pouvoir faire un glissement entre les deux.

Comme on l'a dit précédemment, la température finale moyenne  d'une réponse peut être considérée comme l'évaluation de la qualité de la réponse, les températures basses signifiant une meilleure qualité. Par exemple, le programme évalue ijl (température finale moyenne de 17) comme étant quelque peu meilleure que ijd (température: 23), et de bien meilleure qualité que ijj (température: 48).

En gros, lorsque la température finale moyenne évaluée par le programme COPYCAT descend sous 30, l'expérience montre qu'il a pu construire une solution forte, dont il avait, en un certain sens, une « compréhension » raisonnable. Les températures finales basses indiquent en général que l'ensemble des structures construit est fortement cohérent -- que le système a, en un sens, une « compréhension » raisonnable de ce qui se passait dans le problème posé. Des températures finales élevées indiquent habituellement que certaines structures étaient faibles, ou peut-être qu'il n'y a aucune manière cohérente pour faire correspondre la chaîne initiale et la chaîne cible.

Le programme décide de manière probabiliste quand il doit s'arrêter et fournir une réponse, et bien qu'il soit bien plus probable qu'il s'arrête lorsque la température est basse, il s'arrête quelquefois avant d'avoir eu une opportunité de construire toutes les structures appropriées. Par exemple, il y a des traitements du problème abc->abd, ijk-> ? pour lesquels le programme s'arrête avant que la chaîne cible ait été considérée comme un groupe ; la réponse est encore souvent ijl, mais la température finale est plus élevée que si l'exécution avait continué. Ce genre d'exécution augmente la température finale moyenne pour cette réponse. La température la plus basse pour la réponse ijl est aux environs de 7, qui est à peu près la température la plus basse obtenue.


next up previous contents
Next: Ce que Copycat ne fait pas Up: Copycat Previous: Température
François Parmentier
6/19/1998