Le noyau
neuromimétique, ou synaptique, est constitué d'une
nouvelle version du code neuromuse
écrit et épprouvé lors de la réalisation
de ce projet. Ce code met en oeuvre le système
constitué des six agents neuromimétiques
chargés d'apprendre différents aspects de la partition Amplification de Jean-Luc
Hervé. Le principe général retenu est
exposé ici, sa mise oeuvre est détaillée au
chapitre suivant (4. mise en ligne).
Le code est en cours de développement. Il est
régulièrement mise à jour sur le site internet
http://synaptique.fredvoisin.com/lisp/.
Les principes de
simulation neuronale sont repris et développés des
précédentes versions
LISP de ce code (neuromuse), auxquelles viennent s'ajouter la dynamique
des systèmes
multi-agents tels que mis en oeuvre lors de la Nuit Blanche 2004
(Voisin
& Meier : Caresses de marquises).
Seul le principe est repris ici, mais aucune technologie,
puisqu'il s'agit de transposer en LISP, Pure Data et dans un
environnement totalement opensource
ce qui avait été fait alors dans MaxMSP-Jitter sur
Macintosh.
Ce noyau,
écrit en Common Lisp, est principalament
composé de cartes
auto-organisatrices SOM (Self
Organizing Maps, Kohonen,1995),
de mémoires oscillantes auto-organisatrices (Recurrent
Oscillatory Self-Organizing Map, M. Kaipainen, P. Karhu) et
de perceptrons qui, mis en interaction entre eux et avec les
vecteurs provenant de l'analyse de la partition et du concert,
constituent un système multi-agent capable d'apprentissage et
d'un
comportement autonome en relation avec cet apprentissage (cf. Voisin & Meier : Playing
Integrated Musical Knowledges using Artificial Neural Networks, in
Sound and Music Computing '04 , IRCAM, Paris 2004). Une
très grande littérature scientifique existe à
propos de l'utilisation de ce type de système, en robotique
notamment. Les propriétés d'adaptation et
d'émergence de ce type de système leur confèrent
la possibilité d'une "autonome", par adaptation et
évolution. Il met en oeuvre, par le calcul continue des
connexions synaptiques, des principes proches de ceux de la
théorie darwinienne de la sélection neuronale (TDSN, Gerard
M. Edelman).
Le comportement de ce système autonome détermine entièrement la "logique" du serveur internet audio destiné au concert et à l'installation (cf. 2. schéma general). Outre l'architecture interne du système multi-agents, l'apprentissage qui s'effectue en collaboration avec le compositeur Jean-Luc Hervé, est la phase la plus sensible et délicate, puisqu'elle est destiné à "plier" la dynamique du réseau aux règles explicites et implicites de la partition musicale.
Dans un premier temps, le contenu de cet apprentissage provient de lectures de la partition elle-même, de son matériau et de principes musicaux généraux encodés de différentes manières, sous forme de vecteurs. Les présentations successives et redondantes de ces vecteurs aux agents leur permettent de s'auto-organiser et ainsi de controler le modelage des structures profondes des mémoires synaptiques.
Ce travail d'apprentissage s'effectue au moyen de l'encodages des données poiétiques variées - la partition et ses commentaires - et, dans le même temps, par des sélections successives des architectures neuromimétiques jugées satisfaisantes. L'apprentissage se déroule sur plusieurs mois, de septembre 2005 à janvier 2006, temps nécessaire au calcul, mais aussi à la supervision de l'apprentissage (contrôle), à la détermination des différents paramètres "neuonaux" et, enfin, à la sélection (par nous mêmes) des agents selon les critères musicaux.
La constitution du corpus d'apprentissage et l'analyse musicale nécessaire à ce travail recourt aux programmes LISP OpenMusic, à la librairies Morphologie (Voisin & Baboni-Schilingi, IRCAM 1997) ainsi qu'au travail de recherche musicale sur la représentation du geste dans OpenMusic, effectué en collaboration avec Jean-Luc Hervé (Hervé & Voisin, IRCAM 2002).
Dans un second temps, des données d'interprétation provenant de son actualisation lors des répétitions et du concert. Les données d'interprétations de la partition jouée par les musiciens seront également analysées et encodées après chaque répétition pour être pésentées au noyau synaptique en complément d'apprentissage.
Pendant ce temps, le système prototype demeure en ligne, connecté à internet de manière à pouvoir être observé à distance.
schema
Le comportement de ce système autonome détermine entièrement la "logique" du serveur internet audio destiné au concert et à l'installation (cf. 2. schéma general). Outre l'architecture interne du système multi-agents, l'apprentissage qui s'effectue en collaboration avec le compositeur Jean-Luc Hervé, est la phase la plus sensible et délicate, puisqu'elle est destiné à "plier" la dynamique du réseau aux règles explicites et implicites de la partition musicale.
Dans un premier temps, le contenu de cet apprentissage provient de lectures de la partition elle-même, de son matériau et de principes musicaux généraux encodés de différentes manières, sous forme de vecteurs. Les présentations successives et redondantes de ces vecteurs aux agents leur permettent de s'auto-organiser et ainsi de controler le modelage des structures profondes des mémoires synaptiques.
Ce travail d'apprentissage s'effectue au moyen de l'encodages des données poiétiques variées - la partition et ses commentaires - et, dans le même temps, par des sélections successives des architectures neuromimétiques jugées satisfaisantes. L'apprentissage se déroule sur plusieurs mois, de septembre 2005 à janvier 2006, temps nécessaire au calcul, mais aussi à la supervision de l'apprentissage (contrôle), à la détermination des différents paramètres "neuonaux" et, enfin, à la sélection (par nous mêmes) des agents selon les critères musicaux.
La constitution du corpus d'apprentissage et l'analyse musicale nécessaire à ce travail recourt aux programmes LISP OpenMusic, à la librairies Morphologie (Voisin & Baboni-Schilingi, IRCAM 1997) ainsi qu'au travail de recherche musicale sur la représentation du geste dans OpenMusic, effectué en collaboration avec Jean-Luc Hervé (Hervé & Voisin, IRCAM 2002).
Dans un second temps, des données d'interprétation provenant de son actualisation lors des répétitions et du concert. Les données d'interprétations de la partition jouée par les musiciens seront également analysées et encodées après chaque répétition pour être pésentées au noyau synaptique en complément d'apprentissage.
Pendant ce temps, le système prototype demeure en ligne, connecté à internet de manière à pouvoir être observé à distance.
schema
Les cartes auto-organisatrices ont la propriété d'effectuer une organisation "spatiale" des catégories qu'elles intègrent et mémorisent selon la topologie de leur architecture : on peut démontrer et vérifier que la distance entre les neurones les plus activés par les différents vecteurs auxquels ils sont soumis est proportionnelle aux catégories dont relèvent ces vecteurs. Cette propriété permet donc, par l'observation visuelle des activités neurales mise en correspondance avec l'output du réseau, de contrôler la pertinence et la bonne progression de l'apprentissage. L'exemple présenté à la section suivante propose de le vérifier avec programme test sur une carte SOM de 100 neurones, disposés sur un espace plan et euclidien (le plus utilisé et souvent suffisant pour des catégories de type phonologique.
Comme le montre les figures suivantes, représentant les activations de 100 neurones disposés en carré après plus 1000 cycles (10 secondes à 1 minute, selon le processeur), l'aspect visuel du système fait partie intégrante de l'apprentissage. La représentation graphique de l'activité des agents synaptiques est ainsi indispendable, tant pour le suivi de l'apprentissage du système que pour la compréhension de son fonctionnement. Ces exemples sont volontairement simples de manière à mettre rapidement en valeur les rapports de distances entre les catégories: à chaque figure sonore, ou trait musical minimal, correspond une activation neurales distinctes. L'exemple à la section suivante permet de mettre en oeuvre cette expérience et d'observer ou modifier la dynamique de l'auto-organisation d'un agent synaptique. Le travail lpour le concert et l'installation est d'en combiner 6 dans un système multi-agents, de manière à pouvoir mémoriser et interpréter; par resynthèse, la partition.
activations pour un motif ascendant (mp3):
activations pour un motif descendant (mp3):
activations pour un motif ascendant -descendant (mp3):
activations pour un motif descendant-ascendant (mp3):
activations pour un motif quelconque (mp3):
activations pour un autre motif quelconque (mp3):
Le langage LISP n'étant pas adapté à ce type de représentation en temps réel, nous profitons de l'environnement graphique de Pure Data dans OpenGL (gem), en deux ou trois dimensions; avec lequel nous avons effectué les figures ci-dessus; la communication de ces données depuis le LISP avec l'interface dans Pure Data s'effectue au moyen de connections UDP, en même temps que leur contrôle. (cf. dossier pd). Les styles de présentation graphique ne sont pas encore fixés. La représentation en trois dimensions n'apporte pas, pour l'instant, d'information supplémentaire sur la dynamique du réseau; elle n'est donc pas nécessaire à ce stade. Elle permettra cependant d'enrichir la palette de représentation des activations neuronales, tout en restant sobre.
Le contrôle du système multi-agents à distance, par internet en UDP peut déjà servir et être expérimenté pour la surveillance du système à distance lors que les auteurs se déplacent, l'apprentissage étant très long. On imagine que le calcul sera quasi continu pendant plusieurs mois avant la réalisation du concert et l'installation elle-même. Le travail d'apprentissage par la répétition des stimuli codés en vecteur se fait donc à des vitesses variables dans l'environnement LISP, selon l'attention qu'on peut lui préter.
| 2. Schema general | index |
Frederic Voisin : Maquette du serveur multi-agent neuromimetique de Amplification / Synaptique