Le mystère MemComputing

Publié le 9 septembre 2019 - Un commentaire -
PDF Afficher une version imprimable de cet article
  

La veille technologique a ceci de merveilleux que l’on tombe régulièrement à la fois sur de véritables bijoux comme le processeur de Cerebras que j’ai pu décrire en détail dans un article précédent et sur des prouesses qui génèrent un doute profond, et qui entraînent une indescriptible envie de faire un bon fact-checking scientifique.

En travaillant sur la mise à jour annuelle de mes gros ebooks sur l’informatique quantique et sur l’intelligence artificielle, à paraître respectivement en septembre et novembre 2019, je suis tombé sur la mystérieuse startup MemComputing (2016, USA). Elle développe un processeur de calcul qui pourrait accélérer significativement les calculs de problèmes complexes dont celui de l’entraînement de modèles de deep learning.

On peut la ranger dans une catégorie voisine de l’offre de Fujitsu et de son supercalculateur utilisant le recuit digital à température ambiante. Ce dernier propose une solution qui s’apparente à celle du Canadien D-Wave pour faire des calculs complexes, mais sans passer par du quantique. La technologie de Fujitsu dénommée “Digital Annealer” est développée sur silicium en CMOS et en partenariat avec l’Université de Toronto. Elle serait déjà proposée dans le cloud. Elle sert à résoudre des problèmes d’optimisation et notamment à réaliser du criblage de molécules dans les biotechs. Ce “Digital Annealer” est un chipset dédié comportant 1 024 blocs de mise à jour de bits intégrant de la mémoire pour stocker leurs poids et avec une précision de 16 bits, des blocs logiques pour réaliser des inversion de valeurs, et les circuits de contrôle associés. Voir Fujitsu’s CMOS Digital Annealer Produces Quantum Computer Speeds, 2018.

L’Américain MemComputing met au point le MemCPU Coprocessor, une solution matérielle qui consiste à placer la mémoire près des unités de calcul dans des unités de traitement. Elle est décrite dans Memcomputing: fusion of memory and computing par Yi Li & Al, 2017 (3 pages) d’où provient ce schéma. Le rapprochement de la mémoire du calcul est une approche choisie par une bonne part des acteurs des composants de calcul neuromorphique qui cherchent à accélérer les traitements du deep learning, aussi bien dans les phases d’entraînement que d’inférence de ces réseaux de neurones complexes.

Mais ce n’est pas tout. Chez MemComputing, ces cellules de calcul auraient des entrées et sorties symétriques et interconnectées aux cellules avoisinantes. Elles gèrent uniquement des nombres entiers. Cette organisation des unités de calcul permettrait de trouver automatiquement un équilibre complexe d’un système paramétré. C’est le principe des SOLGs (Self Organizing Logic Gates) du schéma ci-dessous qui provient de la littérature de MemComputing.

Ce genre d’architecture permettrait d’après ses concepteurs de résoudre diverses classes de problèmes dits “NP-complets” et “NP-difficiles” en temps polynomiaux. En clair, cela servirait à transformer des problèmes complexes qui requièrent un temps exponentiel de calcul en fonction de la taille du problème à résoudre en solutions exécutables en un temps polynomial. C’est le Graal des mathématiques et du calcul ! C’est ce à quoi doivent servir les ordinateurs quantiques, une fois qu’ils seront au point à grande échelle, soit avec un grand nombre de qubits.

Les fondateurs de MemComputing annoncent des gains de performance significatifs qui seraient de quatre ordres de grandeur pour les applications de machine learning, donc une performance multipliée par 10 000 ! Voir Memcomputing NP-complete problems in polynomial time using polynomial resources and collective states, par Fabio Traversa, Massimilio Di Ventra & Al, 2014 (10 pages) et Evidence of an exponential speed-up in the solution of hard optimization problems, Fabio Traversa & Al, 2018. Enfin, voir cette Conférence de Massimiliano Di Ventra à Berkeley en 2016 (26 minutes).

La startup a été créée par le serial entrepreneur John Beane et deux chercheurs en physique, Massimiliano Di Ventra et Fabio Traversa qui ont une accumulé dense bibliographie sur le sujet du « memory computing » dont ils sont à l’origine. Voir Universal Memcomputing Machines, par Fabio Traversa et Max Di Ventra, 2014 (14 pages) et Perspective: Memcomputing: Leveraging memory and physics to compute efficiently, par Fabio Traversa et Massimilio Di Ventra 2018 (16 pages).

MemComputing annonce aussi résoudre des problèmes de planification et d’optimisation comme celui du voyageur de commerce, de combinatoire, de bioinformatique, d’entraînement de réseaux de neurones et même de factorisation de nombres entiers, à chaque fois, avec un gain exponentiel sur le temps de calcul. Tout ceci est documenté dans Stress-testing memcomputing on hard combinatorial optimization problems par Fabio Traversa, Max Di Ventra & Al, 2018 (6 pages), Accelerating Deep Learning with Memcomputing par Haik Manukian, Fabio Traversa et Massimiliano Di Ventra, 2018 (8 pages) et Polynomial-time solution of prime factorization and NP-hard problems with digital memcomputing machines, par Fabio Traversa et Max Di Ventra, 2017 (22 pages).

Pour l’instant, leur solution est émulée dans des ordinateurs classiques et fournie sous forme de SDK opéré dans le cloud qu’ils ont conçu en partenariat avec Canvass Labs (2017, USA). Leur composant électronique n’est pas encore fabriqué, même à l’état de prototype, et il n’est d’ailleurs pas évident de déterminer s’il est possible de le fabriquer.

Ils ont communiqué sur le traitement des problèmes de type MIPLIB (Mixed Integer Programming Library) qui sont considérés comme intractables (impossibles à résoudre de manière traditionnelle) avec un temps de réponse de 60 secondes sur un serveur tournant sous Linux. Le tout en battant au passage un ordinateur à recuit quantique de D-Wave. La résolution de ce problème mathématique consiste à trouver par exemple une combinaison de nombres entiers donnés pouvant générer zéro une fois additionnés (le “Subset Sum problem”).

Traduisons tout cela en langage clair : cette startup prétend donc avoir trouvé une solution permettant de faire des calculs aussi rapidement que les ordinateurs quantiques qui ne sont pas encore au point et sur lesquels le monde entier a investi des milliards de dollars avec un espoir de réussir à obtenir des résultats probants dans une fenêtre de tir située entre 10 et 50 ans ! Et là, pas besoin de cryogénie à 15 mK et de frigo à 1M€. Pas de problème de décohérence quantique et d’erreurs à corriger avec de complexes systèmes de correction d’erreurs augmentant le nombre de qubits nécessaires de plusieurs ordres de grandeur. Cela semble donc énorme !

Bref, c’est tout bonnement révolutionnaire.

Ou pas.

Alors, il y a-t-il un ou plusieurs lézards ? S’il y en a, ils ne sont pas faciles à identifier pour le profane.

Les travaux de recherche des fondateurs sont publics depuis cinq ans. Il y a donc un peu de recul. Au-delà de la reprise par les médias-moutons de la communication officielle de la startup, il n’est pas évident de trouver de la matière en termes de fact-checking sur un tel projet. La barrière est placée assez haut : il faut connaître les théories de la complexité, l’électronique des SOLGs, les algorithmes et pouvoir déchiffrer les publications scientifiques des auteurs. Je vous avoue que cela dépasse mes limites en l’état.

J’ai commencé à douter de la capacité réelle à créer ces SOLGs dans des composants CMOS actuels, qui n’est pas démontrée. Ils n’ont pas encore créé de prototype ce qui fait douter un peu. Pourtant, le procédé employé par Fujitsu n’a pas l’air d’être très éloigné et ils arriveraient à en tirer quelque chose.

Autre source de doute : MemComputing arrive à obtenir un avantage d’échelle “quantique” avec l’émulation de son procédé sur des processeurs traditionnels. Cela a l’air bien séduisant mais, indirectement, revient à remettre en cause toutes les théories actuelles de la complexité. Cela impliquerait que P=NP au niveau des classes de complexité de problèmes, une égalité sujette à caution, le consensus des chercheurs en théorie de la complexité penchant plutôt pour une inégalité. Sachant que la question est posée depuis 1972 ! La majorité des chercheurs en complexité cherchent plutôt à démontrer que P est différent de NP. À savoir, que la classe des problèmes dont la vérification de la solution est réalisable en temps polynomial est différente de celle des problèmes qui ont une solution qui se calcule en temps polynomial. Bref, à en donner le tournis.

J’ai finalement trouvé quelques sources qui émettent des doutes sur le procédé de MemComputing :

  • Ken Steiglitz, qui démontre rapidement un peu par l’absurde que cela n’est pas possible dans A Note on `Memcomputing NP-complete problems…’ and (Strong) Church’s Thesis 2015 (2 pages). Il fait référence à une tentative similaire datant de 1986 qui s’est soldée par un échec. Et il indique que si MemComputing tient ses promesses, soit P=NP, soit la thèse de Church-Turing est remise en cause : “An (classical) analog device can be simulated by a Turing Machine using resources (including time) polynomial in the resources of the machine.”. Okay.
  • Scott Aaronson décrit les limites du modèle en 2017 dans Memrefuting . Ce n’est pas n’importe qui. C’est l’un des scientifiques les plus en vue de l’algorithmique quantique. En gros, l’approche de MemComputing ne scalerait pas à cause des phénomène de bruits induits dans les circuits. Les auteurs du procédé évoquent ce bruit mais pensent qu’ils peuvent passer outre : “As anticipated, the machine we have built would ultimately be limited by unavoidable noise sources, thus requiring error-correcting codes. However we prove here that under the assumption of low noise, additive white noise does not affect the machine output” dans Memcomputing NP-complete problems in polynomial time using polynomial resources and collective states, 2015 (12 pages). Au demeurant, les ordinateurs quantiques dont la mise au point est très longue font aussi face à des problèmes de correction de bruit et d’erreurs.
  • Igor Markov décrit d’autres lacunes du procédé de MemComputing dans A review of « Memcomputing NP-complete problems in polynomial time using polynomial resources » en 2015 (3 pages). En gros, en liaison avec des questions de ressources exponentielles cachées dans le procédé.
  • David Herrera Martí qui fait de la recherche au Center for Excellence in Parallel Programming chez Atos Quantum à Grenoble pense que le procédé de MemComputing comprend plusieurs zones d’ombres. Notamment sur le fait que pour faire converger un système complexe vers un minimum global, il faut l’initialiser dans un état qui est proche de la solution à trouver, comme on le fait dans de nombreux algorithmes conçus pour les ordinateurs à recuit quantique de D-Wave. Et cette initialisation a un coût qui peut faire perdre une part de l’avantage obtenu dans le calcul. Les auteurs n’en parlent pas.

En gros, l’approche de MemComputing ne serait pas scalable ! Oubliez tout ce que vous venez de lire à leur sujet ! Ou alors, doutez des douteurs…

A-t-on pour autant affaire à des escrocs du calcul ou à des équivalents mathématiques de Theranos, cette startup américaine qui fait maintenant partie du groupe des escroqueries startupiennes à grande échelle, avec la mise en examen de sa fondatrice ? L’histoire est documentée par le journaliste John Carreyrou dans le livre “Bad Blood”.

Ce n’est pas tout à fait la même situation. Tout d’abord, les chercheurs à l’origine de MemComputing sont plus sérieux et expérimentés que ne l’était Elisabeth Holmes lorsqu’elle avait créé Theranos après seulement une année d’études de licence en santé à Stanford. Ensuite, MemComputing n’a pas levé des montants significatifs. Ils ne sont même pas documentés, ce qui signifie qu’ils doivent être modestes. De nombreux travaux scientifiques ont été publiés, certains même dans des revues scientifiques à comité de relecture. J’ai même retrouvé une trace d’une intervention de Massimiliano Di Ventra au CEA en 2015.

Si cela se trouve, l’approche de MemComputing pourrait ne pas fonctionner mais tout de même inspirer la création d’autres architectures qui, elles, fonctionneraient.

On peut faire le lien avec les débats scientifico-sociétaux du moment comme celui qui a court autour du lien entre énergie nucléaire et mix énergétique décarbonné. Pour ou contre Greta, etc. Pour rentrer dans ces débats, il faut une certaine culture scientifique, hiérarchiser les problèmes, éviter le whataboutism et faire des comparaisons chiffrées objectives. S’il faut confronter les avis, cela serait plutôt entre experts scientifiques divergents qu’entre experts scientifiques et politiciens sans culture scientifique comme cela se produit souvent.

On doit toujours douter, mais il faut avoir un Pôle Nord. Le problème est qu’il n’y en a pas forcément qu’un seul. Donc, il faut débattre, mais posément et avec des raisonnements scientifiques et avec des faits, pas avec des émotions. C’est ça qui est le plus dur ! Heureusement cependant, le calcul exponentiel n’est pas encore devenu un sujet politique comme les questions environnementales.

RRR

 
S
S
S
S
S
S
S
img
img
img

Publié le 9 septembre 2019 Post de | Intelligence artificielle, Logiciels, Quantique, Technologie | 2085 lectures

PDF Afficher une version imprimable de cet article     

Reçevez par email les alertes de parution de nouveaux articles :


 

RRR

 
S
S
S
S
S
S
S
img
img
img

Un commentaire sur “Le mystère MemComputing” :




Ajouter un commentaire

Vous pouvez utiliser ces tags dans vos commentaires :<a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong> , sachant qu'une prévisualisation de votre commentaire est disponible en bas de page après le captcha.

Captcha

Pour valider votre commentaire, veuillez saisir les lettres ci-dessus et cliquer sur le bouton Publier le commentaire ci-dessus.


Derniers articles

Derniers albums photos

Depuis juillet 2014, mes photos sont maintenant intégrées dans ce site sous la forme d'albums consultables dans le plugin "Photo-Folders". Voici les derniers albums publiés ou mis à jour. Cliquez sur les vignettes pour accéder aux albums.
albth
Nouveaux portraits
Expo
541 photos
albth
Web2day Nantes Jun2019
2019
66 photos
albth
Viva Technology May2019
2019
164 photos
albth
CES 2019 Jan2019
2019
2872 photos
albth
The Robot of the Year Nov2018
2018
35 photos
albth
Journée Innovation Défense Nov2019
2018
30 photos
albth
Mondial Auto et CES Unveiled Oct2018
2018
239 photos

Téléchargements gratuits

Le Guide des Startups, mis à jour chaque année au printemps, avec la somme la plus complète et actualisée d'informations pour lancer et faire vivre votre startup :

image

Le Rapport du CES de Las Vegas, publié chaque année en janvier depuis 2006. Vous souhaitez une restitution personnalisée et un point de veille du marché pour votre organisation ? Contactez-moi.

CouvertureRapportCES

Comprendre l'informatique quantique, un ebook de 342 pages pour tout comprendre sur l'informatique quantique et ses enjeux pour l'entreprise :

image

L'ebook Les usages de l'intelligence artificielle, novembre 2018 (522 pages)

CouvertureAvanceesIA

Voir aussi la liste complète des publications de ce blog.

image

Avec Marie-Anne Magnac, j'ai lancé #QFDN, l'initiative de valorisation de femmes du numérique par la photo. Installée depuis début octobre 2015 au Hub de Bpirance à Paris, elle circule dans différentes manifestations. L'initiative rassemble plus de 650 femmes du numérique (en juillet 2017) et elle s'enrichi en continu. Tous les métiers du numérique y sont représentés.

Les photos et les bios de ces femmes du numérique sont présentés au complet sur le site QFDN ! Vous pouvez aussi visualiser les derniers portraits publiés sur mon propre site photo. Et ci-dessous, les 16 derniers par date de prise de vue, les vignettes étant cliquables.
flow
Maria Alejandra Zuluaga
Maria est maître de conférences et chercheuse en apprentissage automatique avec des applications en médecine et santé à EURECOM, école d’ingénieurs et centre de recherche en sciences du numérique.
flow
Pascale Caron
Ingénieure avec un MBA, Pascale est CEO de Yunova, conseil en innovation et Associée Beforgo.com, une startup prometteuse du Tourisme.
flow
Christelle Yemdji Chassi
Christelle est ingénieure développement logiciel châssis chez Renault Software Labs à Sophia Antipolis.
flow
Gabrielle Regula
Gabrielle est enseignante-chercheuse à l’Université d’Aix Marseille à l’institut des matériaux pour la microélectronique et les nanosciences de Provence.
flow
Stéphanie Lavignasse
Stéphanie est Responsable Technique des Offres dans le domaine des sonars sous-marins chez Thales Defence Mission Systems. Elle est aussi marraine « Elles bougent » et membre du comité de pilotage Wo&Men Initiative Network.
flow
Séverine Glock
Séverine est architecte logiciels chez Groupe Renault Software Labs, participant à la transformation digitale du monde de l'automobile. Fan des technologies Blockchain entre autres ! Membre active du collectif WHAT06.
flow
Alexia Aufeves
Alexia est directrice de recherches au CNRS (Institut Néel de Grenoble). C'est une théoricienne de l'optique quantique et de la thermodynamique quantique. Elle travaille sur l'énergétique du calcul quantique qui questionne autant la nature du hasard que la viabilité économique des ordinateurs du futur.
flow
Laure Bourgois
Laure est fondatrice de Codataschool, organisme de formations spécialisé en Big Data et IA., et conférencière sur l'intelligence artificielle.
flow
Julie Valade
Julie est Data Scientist, pôle Innovation et Développement de la Gestion d’Actifs chez Caisse des Dépôts et Consignation.
flow
Noémie Rodet
Noémie est chef de projet chez VP&White, éditeur et intégrateur de solutions full web.
flow
Yaël Jacquey-Dehaese
Yaël est chef de projet en charge de la Promotion de la Mixité à la Société Générale et fondatrice de la startup IT4Girls qui forme les jeunes filles et femmes de 7 à 77 ans à l'apprentissage de la programmation.
flow
Clotilde Chevet
Clotilde est Doctorante au GRIPIC et enseignante au CELSA. Thèse en sciences de l’information et de la communication sur les assistants personnels numériques : « L’interaction homme machine, un système d’écriture qui fait monde ».
flow
Gaëlle Monteiller
Gaëlle est Présidente et cofondatrice de la startup TOD, dans le domaine des ressources humaines.
flow
Aude Bernheim
Aude est post doctorante au Weizmann Institute of Sciences. Co-auteure du livre « L’intelligence artificielle pas sans elles ! ».
flow
Flora Vincent
Flora est post doctorante au Weizmann Institute of Sciences et co-autrice du livre « L’intelligence artificielle pas sans elles ! ».
flow
Fatimazahra Moraux (HEC)
Fatimazahra est Directrice des Systèmes d’information à HEC et en charge du réseau des anciens élèves.

Derniers commentaires

“Je conseille fortement la lecture de ce blog de @olivez qui tord le coup sur l'idée que les GAFA possèdent toutes l…...”
“#factchecking : Le killer 🔫 de la fake news et du bullshit : @olivez 😉👏🏻 Encore une investigation incroyable sur…...”
“En soit, c'est plutôt intéressant dans le sens où cela peut aider en cas de handicap. Mais n'y a t'il pas des problèmes de rejet sur le long terme ? C'est quand même du matériel étranger à notre corps... Pas sur...”
“@humain974 @dr_l_alexandre J'organisais une conférence sur la fin de la loi de Moore déjà en 2011... Quant au quan…...”
“This is a useful and critical look at the recent @MMC_Ventures State of AI: divergence - 2019 report, by Olivier Ez…...”

Abonnement email

Pour recevoir par email les alertes de parution de nouveaux articles :


 

RRR

 
S
S
S
S
S
S
S
img
img
img

Catégories

Tags


Voyages

Voici les compte-rendu de divers voyages d'études où j'ai notamment pu découvrir les écosystèmes d'innovation dans le numérique de ces différents pays :

Evénements

J'interviens dans de nombreuses conférences, événements, et aussi dans les entreprises. Quelques exemples d'interventions sont évoqués ici. De nombreuses vidéos de mes interventions en conférence sont également disponibles sur YouTube.