{"id":17808,"date":"2019-09-09T08:00:48","date_gmt":"2019-09-09T07:00:48","guid":{"rendered":"https:\/\/www.oezratty.net\/wordpress\/?p=17808"},"modified":"2019-09-09T08:45:26","modified_gmt":"2019-09-09T07:45:26","slug":"le-mystere-memcomputing","status":"publish","type":"post","link":"https:\/\/www.oezratty.net\/wordpress\/2019\/le-mystere-memcomputing\/","title":{"rendered":"Le myst\u00e8re MemComputing"},"content":{"rendered":"

La veille technologique a ceci de merveilleux que l\u2019on tombe r\u00e9guli\u00e8rement \u00e0 la fois sur de v\u00e9ritables bijoux comme le processeur de Cerebras<\/strong> que j\u2019ai pu d\u00e9crire en d\u00e9tail dans un article pr\u00e9c\u00e9dent<\/a> et sur des prouesses qui g\u00e9n\u00e8rent un doute profond, et qui entra\u00eenent une indescriptible envie de faire un bon fact-checking scientifique.<\/p>\n

En travaillant sur la mise \u00e0 jour annuelle de mes gros ebooks sur l\u2019informatique quantique et sur l\u2019intelligence artificielle, \u00e0 para\u00eetre respectivement en septembre et novembre 2019, je suis tomb\u00e9 sur la myst\u00e9rieuse startup MemComputing<\/b> (2016, USA). Elle d\u00e9veloppe un processeur de calcul qui pourrait acc\u00e9l\u00e9rer significativement les calculs de probl\u00e8mes complexes dont celui de l\u2019entra\u00eenement de mod\u00e8les de deep learning.<\/p>\n

On peut la ranger dans une cat\u00e9gorie voisine de l\u2019offre de Fujitsu <\/strong>et de son supercalculateur utilisant le recuit digital \u00e0 temp\u00e9rature ambiante. Ce dernier propose une solution qui s\u2019apparente \u00e0 celle du Canadien D-Wave pour faire des calculs complexes, mais sans passer par du quantique. La technologie de Fujitsu d\u00e9nomm\u00e9e \u201cDigital Annealer\u201d est d\u00e9velopp\u00e9e sur silicium en CMOS et en partenariat avec l\u2019Universit\u00e9 de Toronto. Elle serait d\u00e9j\u00e0 propos\u00e9e dans le cloud. Elle sert \u00e0 r\u00e9soudre des probl\u00e8mes d\u2019optimisation et notamment \u00e0 r\u00e9aliser du criblage de mol\u00e9cules dans les biotechs. Ce \u201cDigital Annealer\u201d est un chipset d\u00e9di\u00e9 comportant 1 024 blocs de mise \u00e0 jour de bits int\u00e9grant de la m\u00e9moire pour stocker leurs poids et avec une pr\u00e9cision de 16 bits, des blocs logiques pour r\u00e9aliser des inversion de valeurs, et les circuits de contr\u00f4le associ\u00e9s. Voir Fujitsu\u2019s CMOS Digital Annealer Produces Quantum Computer Speeds<\/a>, 2018.<\/p>\n

L\u2019Am\u00e9ricain MemComputing <\/strong>met au point le MemCPU Coprocessor<\/strong>, une solution mat\u00e9rielle qui\u00a0<\/strong>consiste \u00e0 placer la m\u00e9moire pr\u00e8s des unit\u00e9s de calcul dans des unit\u00e9s de traitement. Elle est d\u00e9crite dans Memcomputing: fusion of memory and computing<\/a> par Yi Li & Al, 2017 (3 pages) d\u2019o\u00f9 provient ce sch\u00e9ma. Le rapprochement de la m\u00e9moire du calcul est une approche choisie par une bonne part des acteurs des composants de calcul neuromorphique qui cherchent \u00e0 acc\u00e9l\u00e9rer les traitements du deep learning, aussi bien dans les phases d\u2019entra\u00eenement que d\u2019inf\u00e9rence de ces r\u00e9seaux de neurones complexes.<\/p>\n

\"\"<\/a><\/p>\n

Mais ce n\u2019est pas tout. Chez MemComputing, ces cellules de calcul auraient des entr\u00e9es et sorties sym\u00e9triques et interconnect\u00e9es aux cellules avoisinantes. Elles g\u00e8rent uniquement des nombres entiers. Cette organisation des unit\u00e9s de calcul permettrait de trouver automatiquement un \u00e9quilibre complexe d\u2019un syst\u00e8me param\u00e9tr\u00e9. C\u2019est le principe des SOLGs (Self Organizing Logic Gates) du sch\u00e9ma ci-dessous <\/i>qui provient de la litt\u00e9rature<\/a> de MemComputing.<\/p>\n

\"\"<\/a><\/p>\n

Ce genre d\u2019architecture permettrait d\u2019apr\u00e8s ses concepteurs de r\u00e9soudre diverses classes de probl\u00e8mes dits \u201cNP-complets\u201d et \u201cNP-difficiles\u201d en temps polynomiaux. En clair, cela servirait \u00e0 transformer des probl\u00e8mes complexes qui requi\u00e8rent un temps exponentiel de calcul en fonction de la taille du probl\u00e8me \u00e0 r\u00e9soudre en solutions ex\u00e9cutables en un temps polynomial. C\u2019est le Graal des math\u00e9matiques et du calcul ! C\u2019est ce \u00e0 quoi doivent servir les ordinateurs quantiques, une fois qu\u2019ils seront au point \u00e0 grande \u00e9chelle, soit avec un grand nombre de qubits.<\/p>\n

Les fondateurs de MemComputing annoncent des gains de performance significatifs qui seraient de quatre ordres de grandeur pour les applications de machine learning, donc une performance multipli\u00e9e par 10 000 ! Voir Memcomputing NP-complete problems in polynomial time using polynomial resources and collective states<\/a>, par Fabio Traversa, Massimilio Di Ventra & Al, 2014 (10 pages) et Evidence of an exponential speed-up in the solution of hard optimization problems<\/a>, Fabio Traversa & Al, 2018. Enfin, voir cette Conf\u00e9rence<\/a> de Massimiliano Di Ventra \u00e0 Berkeley en 2016 (26 minutes).<\/p>\n

La startup a \u00e9t\u00e9 cr\u00e9\u00e9e par le serial entrepreneur John Beane <\/strong>et deux chercheurs en physique, Massimiliano Di Ventra <\/strong>et Fabio Traversa <\/strong>qui ont une accumul\u00e9 dense bibliographie sur le sujet du \u00ab memory computing \u00bb dont ils sont \u00e0 l\u2019origine. Voir Universal Memcomputing Machines<\/a>, par Fabio Traversa et Max Di Ventra, 2014 (14 pages) et Perspective: Memcomputing: Leveraging memory and physics to compute efficiently<\/a>, par Fabio Traversa et Massimilio Di Ventra 2018 (16 pages).<\/p>\n

MemComputing annonce aussi r\u00e9soudre des probl\u00e8mes de planification et d\u2019optimisation comme celui du voyageur de commerce, de combinatoire, de bioinformatique, d\u2019entra\u00eenement de r\u00e9seaux de neurones\u00a0<\/a>et m\u00eame de factorisation de nombres entiers, \u00e0 chaque fois, avec un gain exponentiel sur le temps de calcul. Tout ceci est document\u00e9 dans Stress-testing memcomputing on hard combinatorial optimization problems<\/a> par Fabio Traversa, Max Di Ventra & Al, 2018 (6 pages), Accelerating Deep Learning with Memcomputing<\/a> par Haik Manukian, Fabio Traversa et Massimiliano Di Ventra, 2018 (8 pages) et Polynomial-time solution of prime factorization and NP-hard problems with digital memcomputing machines<\/a>, par Fabio Traversa et Max Di Ventra, 2017 (22 pages).<\/p>\n

Pour l\u2019instant, leur solution est \u00e9mul\u00e9e dans des ordinateurs classiques et fournie sous forme de SDK op\u00e9r\u00e9 dans le cloud qu\u2019ils ont con\u00e7u en partenariat avec Canvass Labs<\/b> (2017, USA). Leur composant \u00e9lectronique n\u2019est pas encore fabriqu\u00e9, m\u00eame \u00e0 l\u2019\u00e9tat de prototype, et il n\u2019est d\u2019ailleurs pas \u00e9vident de d\u00e9terminer s\u2019il est possible de le fabriquer.<\/p>\n

Ils ont communiqu\u00e9 sur le traitement des probl\u00e8mes de type MIPLIB <\/strong>(Mixed Integer Programming Library) qui sont consid\u00e9r\u00e9s comme intractables (impossibles \u00e0 r\u00e9soudre de mani\u00e8re traditionnelle) avec un temps de r\u00e9ponse de 60 secondes sur un serveur tournant sous Linux. Le tout en battant au passage un ordinateur \u00e0 recuit quantique de D-Wave. La r\u00e9solution de ce probl\u00e8me math\u00e9matique consiste \u00e0 trouver par exemple une combinaison de nombres entiers donn\u00e9s pouvant g\u00e9n\u00e9rer z\u00e9ro une fois additionn\u00e9s (le \u201cSubset Sum problem\u201d).<\/p>\n

Traduisons tout cela en langage clair : cette startup pr\u00e9tend donc avoir trouv\u00e9 une solution permettant de faire des calculs aussi rapidement que les ordinateurs quantiques qui ne sont pas encore au point et sur lesquels le monde entier a investi des milliards de dollars avec un espoir de r\u00e9ussir \u00e0 obtenir des r\u00e9sultats probants dans une fen\u00eatre de tir situ\u00e9e entre 10 et 50 ans ! Et l\u00e0, pas besoin de cryog\u00e9nie \u00e0 15 mK et de frigo \u00e0 1M\u20ac. Pas de probl\u00e8me de d\u00e9coh\u00e9rence quantique et d\u2019erreurs \u00e0 corriger avec de complexes syst\u00e8mes de correction d\u2019erreurs augmentant le nombre de qubits n\u00e9cessaires de plusieurs ordres de grandeur. Cela semble donc \u00e9norme !<\/p>\n

Bref, c\u2019est tout bonnement r\u00e9volutionnaire.<\/p>\n

Ou pas.<\/p>\n

Alors, il y a-t-il un ou plusieurs l\u00e9zards ? S\u2019il y en a, ils ne sont pas faciles \u00e0 identifier pour le profane.<\/p>\n

Les travaux de recherche des fondateurs sont publics depuis cinq ans. Il y a donc un peu de recul. Au-del\u00e0 de la reprise par les m\u00e9dias-moutons de la communication officielle de la startup, il n\u2019est pas \u00e9vident de trouver de la mati\u00e8re en termes de fact-checking sur un tel projet. La barri\u00e8re est plac\u00e9e assez haut : il faut conna\u00eetre les th\u00e9ories de la complexit\u00e9, l\u2019\u00e9lectronique des SOLGs, les algorithmes et pouvoir d\u00e9chiffrer les publications scientifiques des auteurs. Je vous avoue que cela d\u00e9passe mes limites en l\u2019\u00e9tat.<\/p>\n

J\u2019ai commenc\u00e9 \u00e0 douter de la capacit\u00e9 r\u00e9elle \u00e0 cr\u00e9er ces SOLGs dans des composants CMOS actuels, qui n\u2019est pas d\u00e9montr\u00e9e. Ils n\u2019ont pas encore cr\u00e9\u00e9 de prototype ce qui fait douter un peu. Pourtant, le proc\u00e9d\u00e9 employ\u00e9 par Fujitsu n\u2019a pas l\u2019air d\u2019\u00eatre tr\u00e8s \u00e9loign\u00e9 et ils arriveraient \u00e0 en tirer quelque chose.<\/p>\n

Autre source de doute : MemComputing arrive \u00e0 obtenir un avantage d\u2019\u00e9chelle \u201cquantique\u201d avec l\u2019\u00e9mulation de son proc\u00e9d\u00e9 sur des processeurs traditionnels. Cela a l\u2019air bien s\u00e9duisant mais, indirectement, revient \u00e0 remettre en cause toutes les th\u00e9ories actuelles de la complexit\u00e9. Cela impliquerait que P=NP au niveau des classes de complexit\u00e9 de probl\u00e8mes, une \u00e9galit\u00e9 sujette \u00e0 caution, le consensus des chercheurs en th\u00e9orie de la complexit\u00e9 penchant plut\u00f4t pour une in\u00e9galit\u00e9. Sachant que la question est pos\u00e9e depuis 1972 ! La majorit\u00e9 des chercheurs en complexit\u00e9 cherchent plut\u00f4t \u00e0 d\u00e9montrer que P est diff\u00e9rent de NP. \u00c0 savoir, que la classe des probl\u00e8mes dont la v\u00e9rification de la solution est r\u00e9alisable en temps polynomial est diff\u00e9rente de celle des probl\u00e8mes qui ont une solution qui se calcule en temps polynomial. Bref, \u00e0 en donner le tournis.<\/p>\n

J\u2019ai finalement trouv\u00e9 quelques sources qui \u00e9mettent des doutes sur le proc\u00e9d\u00e9 de MemComputing :<\/p>\n