{"id":14936,"date":"2017-09-07T17:40:54","date_gmt":"2017-09-07T15:40:54","guid":{"rendered":"http:\/\/www.oezratty.net\/wordpress\/?p=14936"},"modified":"2017-09-16T10:41:59","modified_gmt":"2017-09-16T08:41:59","slug":"lia-entra-dans-les-smartphones","status":"publish","type":"post","link":"https:\/\/www.oezratty.net\/wordpress\/2017\/lia-entra-dans-les-smartphones\/","title":{"rendered":"Et l’IA entra dans les smartphones !"},"content":{"rendered":"

Lors de l’IFA 2017 \u00e0 Berlin, le chinois Huawe\u00ee <\/strong>annon\u00e7ait le Kirin 970<\/strong>, le premier chipset mobile int\u00e9grant de l’IA, leur “Neural Processing Unit” (vid\u00e9o<\/a>), issu de sa filiale de semiconducteurs HiSilicon. Il \u00e9quipera les futurs smartphones de Huawe\u00ef, les Mate 10 qui seront lanc\u00e9s en octobre 2017. \u00a0Ce Kirin 970 permet de traiter plus rapidement la reconnaissance d’images et probablement \u00e9galement, celle de la parole. C\u2019est une v\u00e9ritable premi\u00e8re m\u00eame si elle ne comprend pas forc\u00e9ment de tour de force technologique particulier. C\u2019est une forme d\u2019innovation par l\u2019int\u00e9gration qui va dans le sens du vent et qui en pr\u00e9c\u00e8de d\u2019autres.<\/p>\n

Apple<\/strong> faisait de m\u00eame la semaine suivante en lan\u00e7ant ses iPhone 8 et X qui int\u00e8grent un composant d\u00e9di\u00e9 \u00e0 l’IA, le A11 Bionic Neural Engine. La tendance est donc bien lanc\u00e9e pour mettre de l’IA dans les smartphones sachant qu’elle avait d\u00e9j\u00e0 \u00e9t\u00e9 entam\u00e9e dans d’autres cat\u00e9gories d’objets connect\u00e9s comme les cam\u00e9ras de surveillance.<\/p>\n

\"image\"<\/a><\/p>\n

Le leader mondial des chipsets mobiles, l\u2019Am\u00e9ricain Qualcomm <\/strong>proposait jusqu\u2019\u00e0 pr\u00e9sent son architecture Zeroth <\/strong>pour faire tourner des fonctions de deep learning dans les smartphones. Dans la pratique, il ne s\u2019agissait que d\u2019un kit de d\u00e9veloppement logiciel (SDK) qui exploitait des fonctions standards d’un DSP Hexagon int\u00e9gr\u00e9 dans leurs chipsets Snapdragon. Les processeurs mobiles de Nvidia<\/strong> comprenaient aussi un grand nombre de c\u0153urs pour ex\u00e9cuter des applications de deep learning mais on les trouve plut\u00f4t dans les v\u00e9hicules \u00e0 conduite assist\u00e9e et autonomes comme les Tesla que dans des smartphones.<\/p>\n

Comme les annonces similaires se suivent en g\u00e9n\u00e9ral, il ne serait pas \u00e9tonnant que d’autres fournisseurs de chipsets mobiles s’y mettent, surtout Mediatek et Samsung, puis Qualcomm, qui pourrait bien faire une annonce de ce genre avant, pendant ou apr\u00e8s le CES 2018.<\/p>\n

Les r\u00e9seaux de convolution du deep learning<\/strong><\/p>\n

Pour comprendre \u00e0 quoi peut servir ce Kirin 970 dou\u00e9 d\u2019IA, il faut rentrer un peu dans le lard de l\u2019une des techniques de l\u2019IA, les r\u00e9seaux de convolution. C\u2019est une des techniques de deep learning qui est principalement utilis\u00e9e pour reconnaitre le contenu d\u2019images et d\u00e9tecter les phon\u00e8mes dans la reconnaissance de la parole. Cela colle bien avec les applications de ce Kirin 970 pr\u00e9sent\u00e9es lors de son lancement.<\/p>\n

Les r\u00e9seaux de neurones convolutionnels, CNN, ou ConvNets (convolutional neuron networks), ont \u00e9t\u00e9 invent\u00e9s par le fran\u00e7ais Yann LeCun<\/strong> en 1988 puis perfectionn\u00e9s en 1989, 1998 et jusqu\u2019\u00e0 pr\u00e9sent. Ils servaient au d\u00e9part \u00e0 la reconnaissance de chiffres, puis sont pass\u00e9s \u00e0 la reconnaissance d\u2019images. Il explique cela tr\u00e8s bien dans la conf\u00e9rence inaugurale de sa chaire du Coll\u00e8ge de France du 12 f\u00e9vrier 2016 (vid\u00e9o<\/a>).<\/p>\n

Le deep learning exploite des r\u00e9seaux de neurones multicouches qui reconnaissent le contenu d\u2019un objet complexe (son, image, vid\u00e9o, texte) en le d\u00e9composant progressivement d\u2019abord en composantes de bas niveau, puis en montant progressivement le niveau d\u2019abstraction jusqu\u2019\u00e0 aboutir au descriptif de l\u2019objet.<\/p>\n

Les ConvNets perfectionnent ce mod\u00e8le en s\u2019inspirant fortement du fonctionnement du cortex visuel des mammif\u00e8res qui est structur\u00e9, de pr\u00e8s, dans des colonnes corticales faites de cinq couches de neurones et qui, de loin, comprend des aires sp\u00e9cialis\u00e9es qui \u00e9l\u00e8vent progressivement le niveau d\u2019abstraction des objets reconnus. On a pu le v\u00e9rifier sur des \u2026 chats !<\/p>\n

\"image\"<\/a><\/p>\n

Contrairement au cortex humain, les ConvNets qui font de la reconnaissance d\u2019images utilisent des repr\u00e9sentations \u00e0 tr\u00e8s basse r\u00e9solution. Les algorithmes utilis\u00e9s sont cependant si puissants qu\u2019ils permettent de g\u00e9n\u00e9rer des taux de reconnaissance d\u2019images meilleurs que ceux de l\u2019Homme ! Qu\u2019est-ce que cela serait si la r\u00e9solution utilis\u00e9e \u00e9tait la m\u00eame que dans l\u2019\u0153il et le cortex humains ! On y arrivera certainement un jour et on pourra alors parler d\u2019IA d\u2019\u0153il de lynx.<\/p>\n

\"image\"<\/a><\/p>\n

Les ConvNets utilisent plusieurs techniques enchain\u00e9es les unes avec les autres avec des filtres et des \u201cfeature maps\u201d qui consistent \u00e0 identifier des formes dans les images. Chaque \u201cfeature map\u201d est une cartographie de l\u2019apparition d\u2019un filtre dans l\u2019image analys\u00e9e. Un ConvNet utilise un jeu de plusieurs filtres initialis\u00e9 al\u00e9atoirement. Les filtres sont ensuite affin\u00e9s par diff\u00e9rentes techniques dont la r\u00e9tropropagation d\u2019erreurs dans l\u2019ensemble du r\u00e9seau, un m\u00e9canisme qui est appliqu\u00e9 pour toutes les images d\u2019un jeu d\u2019entrainement qui peut comprendre des millions d\u2019images. C\u2019est tr\u00e8s consommateur de ressources machine et l\u2019annonce de Huawe\u00ef ne pr\u00e9cise d\u2019ailleurs pas si le Kirin 970 sert \u00e0 l\u2019ex\u00e9cution d\u2019un r\u00e9seau de neurones ou \u00e9galement \u00e0 son entrainement qui est la partie la plus consommatrice de ressources. Un r\u00e9seau de neurones convolutionnel ne reconnait pas magiquement un chat ou un visage ! On lui a indiqu\u00e9 auparavant de quoi il s\u2019agissait !<\/p>\n

\"image\"<\/a><\/p>\n

Chaque feature map se voit appliqu\u00e9e une r\u00e9duction de r\u00e9solution (pooling) puis une suppression des valeurs n\u00e9gatives (ReLU pour Rectified Linear Units) pour r\u00e9duire la quantit\u00e9 de travail \u00e0 r\u00e9aliser sur les couches suivantes. Le processus est r\u00e9p\u00e9t\u00e9 sur plusieurs niveaux ou couches, chaque \u201cfeature map\u201d issue d\u2019un niveau devenant une image qui subit un traitement \u00e9quivalent dans le niveau suivant. C\u2019est assez abstrait \u00e0 comprendre, j\u2019en conviens bien ! J\u2019ai mis moi-m\u00eame beaucoup de temps \u00e0 comprendre !<\/p>\n

A la fin de l\u2019histoire, la derni\u00e8re couche de \u201cfeature maps\u201d est reli\u00e9e \u00e0 une liste de tags avec une probabilit\u00e9 de correspondance via quelques couches de neurones dites \u00ab fully connected \u00bb, \u00e0 savoir que tous les neurones d\u2019une couche sont li\u00e9es \u00e0 celles de la couche suivante. C\u2019est l\u00e0 qu\u2019un chat ou un bateau sont reconnus dans l\u2019image et que plusieurs objets peuvent \u00eatre reconnus dans une m\u00eame image. La derni\u00e8re couche de cet empilement est un ensemble de neurones dont le nombre est \u00e9gal au nombre d\u2019objets diff\u00e9rents \u00e0 reconnaitre. Il peut \u00eatre tr\u00e8s grand mais doit rester raisonnable pour tenir compte des capacit\u00e9s du mat\u00e9riel. Ainsi, les meilleurs moteurs de reconnaissance d\u2019images comme ceux de Google n\u2019ont-ils pour l\u2019instant que quelques dizaines de milliers de classes d\u2019objets dans cette derni\u00e8re couche de r\u00e9seaux de neurones.<\/p>\n

A chaque couche d\u2019un r\u00e9seau convolutionnel, le nombre de \u201cfeature maps\u201d augmente et leur taille diminue. Les \u201cfeature maps\u201d \u00e9tant optimis\u00e9es automatiquement, leur forme n\u2019est pas interpr\u00e9table par le cerveau humain. C\u2019est la magie des ConvNets : ils cr\u00e9\u00e9ent des niveaux de repr\u00e9sentations hi\u00e9rarchiques interm\u00e9diaires des images qui optimisent leur reconnaissance avec une vision plus statistique que s\u00e9mantique, sans que l\u2019on puisse comprendre comment ils fonctionnent pas \u00e0 pas. C\u2019est particuli\u00e8rement \u00e9loquent avec la reconnaissance d\u2019images, cf l\u2019exemple ci-dessous<\/em>. D\u2019o\u00f9 le fameux soucis de \u201cnon explicabilit\u00e9\u201d des algorithmes du deep learning. Cela ne va pas nous emp\u00eacher de dormir pour la reconnaissance d\u2019une image mais peut \u00eatre d\u00e9licat pour d\u2019autres usages comme ceux qui sont li\u00e9s au traitement du langage, m\u00eame si ceux-ci exploitent g\u00e9n\u00e9ralement d\u2019autres formes de r\u00e9seaux de neurones qu\u2019on appelle les r\u00e9seaux de neurones r\u00e9currents (RNN) et qui n\u2019exploitent pas par ces myst\u00e9rieuses \u201cfeature maps\u201d.<\/p>\n

\"image\"<\/a><\/p>\n

Le nombre et la taille des filtres de chaque couche du ConvNet sont d\u00e9cid\u00e9s par le d\u00e9veloppeur en fonction de la nature des images \u00e0 traiter et des objets \u00e0 y reconnaitre. Plus ils seront grands, plus le calcul sera long pour l\u2019entrainement du syst\u00e8me. Les concepteurs de r\u00e9seaux de neurones passent donc beaucoup de temps \u00e0 peaufiner leurs mod\u00e8les pour am\u00e9liorer les performances de l\u2019entrainement.<\/p>\n

On peut distinguer les ConvNets selon le nombre de dimensions des donn\u00e9es reconnues : 1D<\/strong> (une dimension) pour le texte, la reconnaissance de genre de musique, des pr\u00e9dictions temporelles sur une seule variable, 2D<\/strong> (deux dimensions) pour les images, pour la reconnaissance de la parole qui associe fr\u00e9quence audio et temps, puis 3D<\/strong> (trois dimensions) pour le traitement de vid\u00e9os et d\u2019imagerie m\u00e9dicale 3D. Rien d\u2019emp\u00eache d\u2019ajouter d\u2019autres dimensions si l\u2019usage l\u2019exige.<\/p>\n

Pour en savoir plus, voici une bonne explication des ConvNets en trois parties : A Beginner’s Guide To Understanding Convolutional Neural Networks de Adit Deshpande (un \u00e9tudiant aux USA), partie 1<\/a>, partie 2<\/a> et partie 3<\/a>, datant de 2016.<\/p>\n

Dans la pratique, l\u2019ex\u00e9cution rapide d\u2019un r\u00e9seau de neurones convolutionnel n\u00e9cessite de pouvoir effectuer les op\u00e9rations math\u00e9matiques \u00e9voqu\u00e9es : des multiplications de matrices g\u00e9n\u00e9rant des matrices, la r\u00e9duction de r\u00e9solution de matrices, et la multiplication de vecteurs par des matrices de poids synaptiques pour g\u00e9n\u00e9rer un nouveau vecteur, correspondant \u00e0 la fin du processus de reconnaissance (\u201cfully connected\u201d). Ce sont des primitives math\u00e9matiques relativement simples au regard d\u2019autres m\u00e9canismes math\u00e9matiques d\u00e9j\u00e0 mis en \u0153uvre dans les processeurs mobiles comme les techniques d\u2019analyse du signal \u00e0 base de transform\u00e9es de Fourrier ou les algorithmes de compression de vid\u00e9o type H264 ou H265.<\/p>\n

Il est aussi important de pouvoir g\u00e9rer de mani\u00e8re optimale l\u2019entrainement du syst\u00e8me si toutefois le syst\u00e8me embarqu\u00e9 a cette capacit\u00e9. Pour ce faire, il faut pouvoir g\u00e9rer la propagation des erreurs en remontant le circuit \u00e0 partir de l\u2019arriv\u00e9e. Ce n\u2019est pas trop compliqu\u00e9 pour la multiplication de vecteurs par des matrices synaptiques qui peuvent \u00eatre invers\u00e9es. L\u2019entrainement peut \u00eatre n\u00e9cessaire pour reconnaitre un nouveau type d\u2019objet ou la voix de l\u2019utilisateur m\u00eame si certains mod\u00e8les permettent de s’en passer.<\/p>\n

Mais je n\u2019ai \u00e9voqu\u00e9 ici qu\u2019une seule des m\u00e9thodes de ConvNet : le tagging d\u2019images. Il existe bien d\u2019autres m\u00e9thodes adapt\u00e9es \u00e0 d\u2019autres usages, comme le d\u00e9coupage d\u2019une image en objets ou la modification d\u2019images en imitant d\u2019autres styles d\u2019images. Le deep learning est une discipline bouillonnante et la diversit\u00e9 des r\u00e9seaux de neurones associ\u00e9e est \u00e9tonnante. Un processeur peut normalement en supporter la diversit\u00e9 s’il est bien con\u00e7u.<\/p>\n

L\u2019IA dans le Kirin 970<\/strong><\/p>\n

Lors de l\u2019annonce \u00e0 l\u2019IFA, les caract\u00e9ristiques exactes de ce NPU du Kirin 970 n\u2019ont pas \u00e9t\u00e9 vraiment pr\u00e9cis\u00e9es. On savait que c’est un schmillblick d’IA. C’est \u00e0 peu pr\u00e8s tout tout. C\u00f4t\u00e9 sp\u00e9cifications, il a une puissance de calcul de 1,92 TeraFlops et la capacit\u00e9 \u00e0 reconnaitre 2000 images en une minute alors que la g\u00e9n\u00e9ration pr\u00e9c\u00e9dente traditionnelle de chipsets Kirin en reconnaissait seulement une soixantaine. Soit dit en passant, on peut se demander \u00e0 quel usage cela correspond. Une petite division met la puce \u00e0 l\u2019oreille : 2000\/60 donne 33,33, pas loin de 30 images par secondes, qui est le nombre d\u2019image moyen d\u2019une vid\u00e9o. Cela veut donc dire que le NPU peut suivre en temps r\u00e9el un objet dans une vid\u00e9o. Aux usages et aux applications d\u2019en faire quelque chose !<\/p>\n

Gr\u00e2ce \u00e0 cet article<\/a> bien renseign\u00e9 paru apr\u00e8s le lancement, on a pu en savoir un peu plus sur ce NPU. Il utilise une conception de circuit provenant d\u2019une startup chinoise de Beijing, Cambricon Technology<\/strong>. Cette soci\u00e9t\u00e9 a \u00e9t\u00e9 cr\u00e9\u00e9e en 2016 et vient de lever au mois d\u2019aout la bagatelle de $100M, aupr\u00e8s d\u2019un investisseur public chinois qui ressemble \u00e0 notre Bpifrance. HiSilicon n\u2019a pas utilis\u00e9 telle que un bloc de processeur neuromorphique de Cambricon Technology. Ils ont travaill\u00e9 ensemble pour le personnaliser et l\u2019int\u00e9grer dans le Kirin 970 et notamment pour l\u2019adapter au processus de fabrication du chipset qui est en int\u00e9gration \u00e0 10 nm, fabriqu\u00e9 par TSMC \u00e0 Ta\u00efwan. Cambricon Technology est \u00e0 l\u2019origine de la conception du Cambrian 1A, un chipset neuromorphique pour l\u2019ex\u00e9cution de r\u00e9seaux de neurones dans des terminaux.<\/p>\n

\"image\"<\/a><\/p>\n

De l\u2019architecture du NPU int\u00e9gr\u00e9 dans le Kirin 970, on ne sait qu\u2019une chose : il contient des multiplicateurs de matrices de 3×3 pixels, sans que leur nombre soit pr\u00e9cis\u00e9. Or 3×3 ressemble \u00e0 la taille d’un filtre typique de r\u00e9seau convolutionnel et non pas celle d’une image ou de feature map.<\/p>\n

On peut comparer cela avec d\u2019autres processeurs neuromorphiques d\u00e9di\u00e9s aux r\u00e9seaux de neurones. La premi\u00e8re g\u00e9n\u00e9ration de Tensor Processing Units (TPU) de Google<\/strong> annonc\u00e9e en 2016 comportait un multiplicateur de matrices de 256×256 pixels. C\u2019est d\u2019ailleurs la r\u00e9solution habituelle de traitement d\u2019images pour leur reconnaissance. Dans la derni\u00e8re g\u00e9n\u00e9ration 2017, ils ont deux multiplicateurs de 128×128 pixels. Chez Nvidia<\/strong>, la derni\u00e8re g\u00e9n\u00e9ration de GPU adapt\u00e9e \u00e0 ces traitements, le V100, en plus de milliers de c\u0153urs destin\u00e9s \u00e0 des op\u00e9rations \u00e9l\u00e9mentaires sur des nombres entiers et flottants, ils comprennent 640 c\u0153urs dot\u00e9s de multiplicateurs de matrices de 4×4 pixels. C’est une des composantes des processeurs neuromorphiques mais pas la seule.<\/p>\n

\"image\"<\/a><\/p>\n

Techniquement parlant, le Kirin 970 un ASIC<\/strong>, \u00e0 savoir un circuit dont toutes les portes logiques d\u00e9finissant son fonctionnement sont grav\u00e9s dans le dur. L\u2019alter \u00e9go des ASIC sont les variantes de FPGA <\/strong>dont les portes sont programmables par logiciel. C\u2019est une technique retenue pour certains chipsets neuromorphiques, notamment ceux qui sont produits par des startups comme le fran\u00e7ais Scortex<\/strong>. Un FPGA coute moins cher \u00e0 produire en petite s\u00e9rie qu\u2019un ASIC mais il est moins rapide et consomme plus d\u2019\u00e9nergie. Un ASIC n\u2019est int\u00e9ressant que si le composant est produit en volume. Cela rappelle, par analogie la diff\u00e9rence entre l\u2019impression 3D qui est int\u00e9ressante en faible volume par rapport \u00e0 la fabrication plus traditionnelle avec des moules (et pressage ou injection) qui ne sont rentabilis\u00e9s qu\u2019avec un gros volume de production.<\/p>\n

Comme les smartphones de Huawe\u00ef sont produits en dizaines de millions d\u2019exemplaires, la question du choix de la technologie ASIC ne se posait m\u00eame pas. De leur c\u00f4t\u00e9, les TPU de Google sont des ASIC tandis que les processeurs BrainWave de Microsoft<\/strong>, qu\u2019il utilise dans ses propres datacenters, sont en FPGA Intel <\/strong>en 10 nm, des Predix 10, issus du rachat d\u2019Altera <\/strong>fin 2015. Ils en ont optimis\u00e9 l\u2019architecture, notamment au niveau de la m\u00e9moire, pour qu\u2019ils ne soient pas p\u00e9nalis\u00e9s vis \u00e0 vis des ASIC.<\/p>\n

En termes de puissance, les chipsets de Nvidia et Google sont bien plus puissants que le NPU du Kirin 970 : celui de Google fait 92 TFlops\/s et le Nvidia atteint 120 TFLOPS, c’est-\u00e0-dire, 60 fois la puissance du Kirin 970 ! Les Nvidia sont produits en technologie 12 nm et ont 21,5 milliards de transistors, 4 fois plus que le total du Kirin 970 qui en fait 5,5. Mais ne comparons pas des choux et des carottes : le Kirin 970 est fait pour des smartphones et de la basse consommation tandis que les TPU de Google et le V100 de Nvidia sont con\u00e7us pour des serveurs et consomment plus de 100W.<\/p>\n

On n\u2019a aucune information sur les autres parties du NPU du Kirin 970. Mais elles devraient logiquement \u00e9galement comprendre :<\/p>\n