Quelques notes technico-cyniques pour synthétiser les concepts sous-jacents à ce 2ème volet.

– Le web regorge de références qui assènent que le bouquin de Minsky et Papert a tué le perceptron de Rosenblatt et l’IA pendant 10 ans. Il faut lire les 250 pages pour éviter de faire partie du presse-purée. Le traitement était visionnaire mais démarrait avec l’hypothèse de parallelisme fondée en 1943 par McCulloch and Pitts: chaque rang de neurones est mis à jour entièrement et séquentiellement. Il suffit de regarder le schéma du XOR pour comprendre que l’hypothèse était malheureuse. La démonstration a retardé les développements jusqu’en 1975, l’année ou l’algorithme de back-propagation a résolu le XOR. A partir de ce moment, l’IA est bloquée dans le mode “fabrication d’algorithmes de convergence” sur la base de structures parallèles et séquentielles.

– Certaines factions de l’IA ont essayé de sortir de l’ornière avec le réservoir computing, les réseaux récurrents et les réseaux temporels. De nouveaux algorithmes de convergence viennent naturellement en sus de ces nouvelles topologies qui s’affranchissent de certains dogmes du passé. Les papers font état de certaines améliorations en terme de classification qui ne sont pas très alléchantes au regard de leur complexité en comparaison avec les systèmes bien connus. Dans la tradition des Minsky et Papert, des articles tueurs ont probablement tué l’enthousiasme de ces pionniers et leurs subventions du même coup. Au risque de me répéter, le deep learning n’est pas vraiment une nouveauté: plutôt un raffinement intéressant présenté avec un bon emballage.

– Reconnaissance de la parole.
J’aurai cité l’algorithme de Viterbi (1967) et le réseau de Kohonen (1982) comme pierres fondatrices. La machine à écrire/dicter de Kohonen était basée sur la reconnaissance de phonèmes (finlandais). Toutes les langues – dont l’anglais – ne sont pas considérées comme phonétiques donc…

– Evolution de l’IA (1/2): construction et selection des caractéristiques
Le réseau de Kohonen, de Le Cunn, etc, sont pensés pour extraire de plus en plus de caractéristiques (features). Quel que soit le domaine considéré, un des récents problèmes de l’IA est de créer et sélectionner les features les plus informatives pour créer des bons classifiers. Les principaux outils mathématiques utilisés sont: statistiques (PCA), information theory (Shannon), matrices et transformations linéaires (eigenvectors, SVM), et biensûr on applique les techniques de l’IA sur les problèmes de l’IA pour trouver des solutions (ça vous rappelle pas la vache folle?). Je vous invite à aller voir les problèmes posés sur Kaggle pour vous faire une opinion ce qui se passe dans ce domaine.
L’hypothèse de base est que la performance d’un algorithme est limitée par la qualité et la quantité des caractéristiques analysées en vue de prendre une décision. Cette évolution est au coeur des reconnaissances faciale et vocale actuelles.

– SyNAPSE
Le projet SyNAPSE de DARPA prend une autre alternative: les algorithmes standards qui fonctionnent bien mais trop lentement sur des CPU/GPU peu adaptés,sont cablés pour les rendre plus rapides et moins chers à exploiter. C’est clairement un projet qui met toutes les chances de son côté pour fonctionner à coup/coûts sûrs. Application sur mesure: reconnaissance de signaux dans les échanges électroniques.

– Evolution de l’IA (2/2): application aux flots de données
Jusqu’à présent, les données fournies aux algorithmes sont comme des photos d’ aurores boréales: il faut une pose longue pour capturer un phénomène peu intense qui évolue rapidement dans le temps. Une intuition naît quand l’on réalise que la photo est très différente de ce que l’observateur voit: est-ce que l’ordre dans lequel les capteurs ont reçu l’information est important? Plus prosaïquement, prenez vous la même décision quand le feu passe au vert après avoir été rouge et quand le feu est passé rouge après avoir été vert? Non? Bien, alors vous portez de l’importance à l’ordre dans lequel l’information arrive mais jusqu’à récemment l’IA s’en contrefichait.
Quelques sociétés commerciales s’intéressent à l’exploitation des données en flot continu (streams), par exemple Grok. C’est une manière radicalement nouvelle de voir le problème. Cette nouvelle approche balbutiante consiste à essayer de faire sens des inputs sans les découper en tranches à l’avance.

– Artificial Intelligence A Modern Approach – Le livre de Russel et Norvig
Ce livre est probablement ok pour un étudiant en première année d’informatique. Comme il est assez daté, il pourra servir de bloque-porte geek assez rapidement. A emprunter ou à acheter d’occasion (en vue d’en faire un bloque-porte).

– Conclusion
De nombreuses applications actuelles de l’IA reposent sur des techniques imaginées il y a 25+ ans, avec un minimum de raffinement.
Le hype vient de la notoriété de leur employeur, ou des sommes investies.
Le Brain Project Européen repose sur une fusion d’anciennes techniques empruntées à la biologie et à l’IA, qui n’ont pas marché jusqu’à présent et pour des raisons assez évidentes. A 10 milliard d’Euro le bout, je comprends que certains scientifiques ont râlé.
Les nouveautés fondamentales nécessaires à l’évolution de la discipline sont rares, noyées dans le bruit, et progressent lentement par faute d’investissement. Les fonds publics sont alloués pour les 10 prochaines années. Les fonds privés sont axés sur un ROI à trop court terme. Le risque d’un Frankenstein électronique singulier est assez faible.

Répondre à ce commentaire

Mes excuses. C’est la réponse [3] que je visais.

Répondre à ce commentaire

L’article cité démontre que les hypothèses de Kurtzweil ne sont pas faciles à démonter: les 3 points avancés à propos de la capacité de calcul du cerveau humain sont pour le moins approximatifs.

1) Les connections sont importantes, nonobstant aucune théorie n’a pour le moment permis de rendre compte des observations déjà obtenues, ni de prédire -soit un comportement à partir d’un connectome, soit la structure d’un connectome à partir de comportements connus-, ni d’expliquer les mécanismes en jeu. Des vraies théories: aucune. Des hypothèses non prouvées: pléthore! “It was shown..”? Yeah right. Passez, il n’y a rien à voir.

2) et 3) “Neurons learn”. Wow. Je pense que l’auteur a vulgarisé le concept de plasticity à la limite de l’utile. Il y a d’autres hypothèses: les synapses apprennent et sont entièrement responsables de la mémoire; les gènes sont responsables de la mémoire… Ce sont des hypothèses de travail corroborées par des observations, mais l’élément prédictif est manquant. Une certaine dose de circonspection est donc requise, d’autant plus qu’il est important d’appréhender les concepts “apprentissage” et “mémoire” avec les connotations spécifiques relatives au domaine spécifique de chaque auteur. L’auteur du blog n’est pas tout terrain, et encore une fois il ne démontre rien.

Le presse-purée psychologico-biologique qui constitue la plus grosse partie de l’article ne justifie aucunement la juxtaposition entre deep-learning/GPU et cerveau humain, et encore moins une comparaison.

Il a aussi laissé de côté une intéressante observation biologique que voici. Le système cardiaque de la sangsue médicinale est régulé par une poignée de neurones bien identifiés, qui produisent un rythme cardiaque très spécifique et identifiable. Les électrophysiologistes (planteurs d’électrodes chez les Minimoys) ont noté que les caractéristiques des neurones en question varient allègrement par un facteur 5 d’un individu à l’autre, sans que le rythme cardiaque diffère entre individus. Ils appellent ça “animal-to-animal” variability. Ce phénomène est présent dans tout un tas d’espèces animales dans une variété de systèmes.
En quoi est-ce relevant quand on discute IA? La réponse est évidente pour les familiers des réseaux de neurones et du deep learning: l’output des réseaux de neurones de l’IA n’est pas immune quand on modifie une quantité aléatoire de “poids synaptiques” (pouffons à l’outrecuidance du terme) par des facteurs aléatoires dans [1, 5].
Ceci prouve que les réseaux de neurones actuels de l’IA, ce qui inclut le deep learning, ne peuvent pas être pris comme modèles du système nerveux ou du cerveau. Il suffit de comprendre comment la théorie des SVMs se décline sur un perceptron, pour intuiter le résultat d’une généralisation “par partie” à n’importe quel réseau de neurones.

De la même manière, les réseaux de neurones n’apprennent pas et ils ne reconnaissent pas: ils sont configurés pour des tâches de classification ou de regression, et les résultats sont extrapolés dans le même domaine. Point. Rien à voir avec de la mémoire ou de l’apprentissage tels que définis en biologie ou psychologie. Les seules comparaisons qui existent naissent dans l’esprit des gens qui ne grattent pas plus loin que le vernis, ou des marketeurs de NVidia. Faut les comprendre: c’est pas facile de vendre des CPUs…

Répondre à ce commentaire

You are welcome. Le titre exact de leur article: “A logical calculus of the idea immanent in nervous activity”. Les concepts introduits ont la vie dure, et persistent tant en IA qu’en neuroscience, malgré leur inadéquation avec les résultats expérimentaux. C’est un dogme. Vous pouvez me contacter offline.

Répondre à ce commentaire

Bon démarrage. J’aurai personellement placé le travail de McCullochs et Pitts de 1943 comme la premiere pierre à l’édifice. Leurs principes de réseaux de neurones – qui étaient déjà erronés si l’on considère les travaux de Helmholtz presque 100 ans plus tôt – sont toujours la base des cours d’IA dans le monde entier.

Répondre à ce commentaire