S\u2019y est ajout\u00e9e l\u2019imposante compilation du plan France IA<\/a>, pilot\u00e9e par Bercy et le Minist\u00e8re de la Recherche. C’est un excellent tour d\u2019horizon de l\u2019existant en France tant c\u00f4t\u00e9 recherche que de celui des entreprises. J\u2019avais il y a deux mois fait un tour en plein et en creux de ce plan. Il se trouve que ce n\u2019\u00e9tait qu\u2019un plan d\u2019\u00e9tape. Mais les germes d\u2019une dispersion restent toujours pr\u00e9sents dans les approches qui consolident les avis de centaines de parties prenantes. C’est \u00e0 l’image du sujet qui est en fait aussi large\u00a0que le num\u00e9rique ou le logiciel.<\/p>\n L’IA est aussi devenu un objet \u00e9minemment politique, soulevant de nombreuses questions d\u2019\u00e9thique et aussi, sur les \u00e9volutions du march\u00e9 de l\u2019emploi qu\u2019elle va entra\u00eener. C\u2019est notamment l\u2019objet du rapport parlementaire Pour une intelligence artificielle ma\u00eetris\u00e9e, utile et d\u00e9mystifi\u00e9e<\/a> finalis\u00e9 et publi\u00e9 \u00e0 peu pr\u00e8s au m\u00eame moment que le plan France IA, en mars 2017.<\/p>\n J\u2019ai eu vent r\u00e9cemment de la demande de quelques grands comptes fran\u00e7ais demandant \u00e0 des soci\u00e9t\u00e9s de conseil de r\u00e9aliser un \u201cbenchmark de l\u2019IA\u201d. Un peu comme si c\u2019\u00e9tait un produit en \u00e9tag\u00e8res, comme un banal serveur de base de donn\u00e9es. Les bras m\u2019en sont un peu tomb\u00e9s. La demande n\u2019\u00e9tait pas pour autant aussi farfelue que cela : il est bon de se demander ce que l\u2019IA pourrait apporter \u00e0 une entreprise et d\u2019en \u00e9valuer le potentiel. Reste \u00e0 d\u00e9terminer la bonne m\u00e9thode.<\/p>\n Il se trouve que je me suis encore plus plong\u00e9 dans les arcanes scientifiques et technologiques de l\u2019IA, aussi bien du c\u00f4t\u00e9 du deep learning que de l\u2019IA symbolique ou des avanc\u00e9es dans le domaine de l\u2019intelligence artificielle g\u00e9n\u00e9rale (AGI). Je me suis rendu compte \u00e0 quel point le champ de recherche et d\u2019applications de l\u2019IA \u00e9taient immenses et aussi, totalement incompris par une bonne part des entreprises et de l\u2019\u00e9cosyst\u00e8me. Je ne suis d’ailleurs pas encore s\u00fbr d’avoir tout compris ! L’incompl\u00e9tude de la compr\u00e9hension est permanente dans ce domaine.<\/p>\n Il n\u2019est en tout cas pas du tout monolithique. Si l\u2019on ne prend que le le deep learning s\u2019appuyant sur des r\u00e9seaux de neurones, cela\u00a0avance r\u00e9guli\u00e8rement et des chercheurs font \u00e9voluer chaque ann\u00e9e le sujet. L\u2019IA pr\u00e9serve encore un c\u00f4t\u00e9 myst\u00e9rieux et magique car ses m\u00e9thodes math\u00e9matiques et logiques ne sont pas du plus facile des abords. Qui plus est, les pr\u00e9visions de l\u2019augmentation de la puissance de l’IA s\u2019appuient encore de mani\u00e8re un peu simpliste sur une application sans limites de la loi de Moore.<\/p>\n L\u2019outillage en IA<\/strong><\/p>\n Pour comprendre la structure d’un projet d’IA, on peut commencer par observer de pr\u00e8s ce que font couramment les startups de l\u2019intelligence artificielle. Dans la pratique, elles ne cr\u00e9ent pas beaucoup de logiciels. Elles sont surtout des assembleurs de donn\u00e9es dans un domaine pr\u00e9cis – sant\u00e9, finance, marketing, juridique, autre – qu\u2019elles injectent dans des moteurs de machine learning ou de deep learning du march\u00e9.<\/p>\n La qualit\u00e9 de leurs solutions provient surtout de celle des donn\u00e9es qui les alimentent. Parfois, l’IA de ces startups prendre m\u00eame la forme d’une boite noire, notamment pour les applications de reconnaissance d\u2019images, utilis\u00e9es en particulier pour la r\u00e9alisation de diagnostics automatis\u00e9s (fonds de l\u2019\u0153il et dermatologie dans l\u2019imagerie m\u00e9dicale, contr\u00f4le qualit\u00e9 en usine pour l\u2019industrie manufacturi\u00e8re). Ces boites noires sont fournies par de grandes startups am\u00e9ricaines telles que Clarifai.ai<\/strong>.<\/p>\n En pratique, que pourrait signifier \u201cbenchmarker l\u2019IA\u201d dans une entreprise ? On peut benchmarker d\u2019une part des outils et, d\u2019autre part, leur mise en \u0153uvre dans des projets pr\u00e9cis utilisant des jeux de donn\u00e9es de tests. Certains outils peuvent \u00eatre pr\u00eats \u00e0 l\u2019emploi, comme la ribambelle de chatbots et autres robots conversationnels grand publics qui ont pullul\u00e9 en 2015 et 2016 aussi bien aux USA qu\u2019en France.<\/p>\n Vous pouvez obtenir de nombreux panoramas de startups du secteur gr\u00e2ce aux excellentes cartographies de l\u2019am\u00e9ricain CBInsight<\/a><\/strong>. Elles couvrent aussi bien les startups de technologies g\u00e9n\u00e9riques que de leurs applications dans des march\u00e9s verticaux et horizontaux.<\/p>\n Pour les entreprises qui souhaitent s\u2019outiller elles-m\u00eames, il existe un grand nombre de solutions open source pour lancer un projet d\u2019IA, et notamment dans le deep learning.\u00a0L\u2019un d\u2019entre eux se d\u00e9tache du lot et est tr\u00e8s utilis\u00e9 par les startups : la biblioth\u00e8que open source TensorFlow<\/strong> cr\u00e9\u00e9e par Google, qui fonctionne aussi bien en embarqu\u00e9 que dans le cloud. Elle est mise\u00a0 en oeuvre par quasiment les trois quarts des startups fran\u00e7aises de l\u2019IA que j\u2019ai pu croiser ces derniers mois.\u00a0Derri\u00e8re TensorFlow, l\u2019un des plus courus est Theano<\/strong>, issu de l\u2019Universit\u00e9 de Montr\u00e9al.<\/p>\n Deux outils cr\u00e9\u00e9s par des fran\u00e7ais sont aussi couramment utilis\u00e9s : ScitKit-Learn <\/strong>et Keras<\/strong>, ce dernier \u00e9tant un sur-ensemble de TensorFlow et Theano. Ces frameworks sont g\u00e9n\u00e9ralement utilis\u00e9s via du code \u00e9crit en Python<\/strong>. Certains de ces frameworks sont compar\u00e9s dans cette int\u00e9ressante pr\u00e9sentation : Deep Learning Frameworks : TensorFlow, Theano, Keras, Torch, Caffe<\/a> datant de janvier 2017. Pour les courageux, la documentation de Sciki-Learn<\/a> fait 2125 pages ! On ne rentre pas l\u00e0-dedans comme pour apprendre \u00e0 programmer en HTML\/CSS et m\u00eame PHP ! Un projet standard va g\u00e9n\u00e9ralement n\u00e9cessiter de choisir un grand nombre d\u2019outils dans une chaine de valeur complexe.<\/p>\n TensorFlow<\/strong> ressort souvent du lot car c\u2019est l\u2019un des frameworks qui b\u00e9n\u00e9ficie du plus grand nombre de contributions sur Github et qu\u2019il b\u00e9n\u00e9ficie du soutien de Google. Le sch\u00e9ma ci-dessus met en avant cette diff\u00e9rence (source<\/a>). Il requiert un petit d\u00e9codage : les CNN<\/strong> sont les r\u00e9seaux de neurones \u00e0 convolution (qui d\u00e9coupent un probl\u00e8me en sous-probl\u00e8mes pour analyser par exemple le contenu d\u2019une image en la d\u00e9composant par \u00e9l\u00e9ments ayant un niveau d\u2019abstraction croissant), les RNN<\/strong> (r\u00e9seaux de neurones r\u00e9currents, utilis\u00e9s dans la reconnaissance de la parole, et dans la production de pr\u00e9dictions). Tous ces moteurs de deep learning ont des capacit\u00e9s vari\u00e9es parmi lesquelles il faudra choisir son ou ses mod\u00e8les de r\u00e9seaux de neurones en fonction de la nature du besoin !<\/p>\n TensorFlow est aussi capable de bien monter en puissance pour les gros volumes de donn\u00e9es et d\u2019exploiter des architectures en cloud reposant sur des GPU comme ceux de Nvidia<\/strong>. Ce dernier vient d\u2019ailleurs tout juste d\u2019annoncer une nouvelle g\u00e9n\u00e9ration de GPU d\u00e9di\u00e9 au deep learning, le GV100. Produit en technologie 12 nm chez TSMC, il int\u00e8gre la bagatelle de 21,1 milliards de transistors dans 5376 c\u0153urs, le tout ayant une puissance de calcul impressionnante de 120 TFLOPS.<\/p>\n Mais l\u2019IA ne se r\u00e9sume pas au deep learning. Celui-ci est souvent mis en \u0153uvre dans les applications de vision artificielle pour tagger automatiquement des photos ou des vid\u00e9os ou pour identifier des pathologies dans de l\u2019imagerie m\u00e9dicale. On peut utiliser des techniques de machine learning et de deep learning pour segmenter automatiquement une base de donn\u00e9es de clients, ce que l\u2019on appelle la \u201cclusterisation\u201d. Ils servent aussi \u00e0 faire des pr\u00e9dictions s\u2019appuyant sur des jeux de donn\u00e9es complexes. On les a vus \u00e0 l\u2019\u0153uvre pour les pr\u00e9dictions \u00e9lectorales s\u2019appuyant par exemple sur les conversations dans les r\u00e9seaux sociaux. Avec plus ou moins de bonheur d\u2019ailleurs selon que l\u2019\u00e9lectorat jeune ou moins jeune d\u00e9terminait l\u2019issue d\u2019une \u00e9lection.<\/p>\n Il existe aussi des moteurs d\u2019IA symbolique<\/strong>, assimilables aux syst\u00e8mes experts des ann\u00e9es 1980. On les alimente avec des corpus de r\u00e8gles pour ensuite, les faire r\u00e9pondre \u00e0 des questions et traiter des probl\u00e8mes complexes n\u00e9cessitant une logique inductive ou d\u00e9ductive. Cette forme dl\u2019IA s\u2019appuie sur des connaissances structur\u00e9es. La soci\u00e9t\u00e9 Cycorp <\/strong>propose ainsi un corpus de 630 000 concepts, 7 000 000 faits et r\u00e8gles et 38 000 relations couvrant de larges pans du savoir humain g\u00e9n\u00e9rique. Il a \u00e9t\u00e9 accumul\u00e9 sur plusieurs d\u00e9cennies. Les r\u00e8gles peuvent \u00eatre aussi extraites de donn\u00e9es non structur\u00e9es comme des bases textuelles (genre Wikipedia) ou les r\u00e9seaux sociaux. Quelques startups proposent des outils dans ce domaine, comme Vicarious <\/strong>ou Numenta<\/strong>. Il existe aussi des briques associ\u00e9es dans des architectures plus vastes telles que IBM Watson<\/strong>.<\/p>\n Bref, les frameworks d\u2019IA et les infrastructures techniques qui les ex\u00e9cutent sont les seules technologies que l\u2019on peut benchmarker de mani\u00e8re traditionnelle, en comparant entre elles des solutions techniques et \u00e0 divers niveaux : langage, framework, moteur, outils de pr\u00e9paration des donn\u00e9es, ressources en cloud, outils de parall\u00e9lisation des traitements\u00a0 (Hadoop<\/strong>, Amazon Spark<\/strong>), serveurs et processeurs (CPU, GPU, processeurs synaptiques mettant directement en \u0153uvre des r\u00e9seaux de neurones).<\/p>\n Les donn\u00e9es<\/strong><\/p>\n Dans le contexte d\u2019un projet d\u2019entreprise, un projet d\u2019IA d\u00e9marre souvent avec des donn\u00e9es et si possible avec de gros volumes de donn\u00e9es. Le volume et la qualit\u00e9 des donn\u00e9es sont cl\u00e9s pour bien entrainer un moteur de deep learning. C\u2019est l\u2019une des raisons de la force des GAFA : ils ont naturellement acc\u00e8s \u00e0 d\u2019immenses volumes de donn\u00e9es li\u00e9es aux actions des utilisateurs de Google Search, Facebook, iOS, Android, SIRI, Amazon Alexa, etc. Les soci\u00e9t\u00e9s qui d\u00e9ploient de gros volumes d\u2019objets connect\u00e9s ont aussi acc\u00e8s \u00e0 des donn\u00e9es int\u00e9ressantes \u00e0 exploiter.<\/p>\n Un benchmark d\u2019entreprise doit donc partir d\u2019un ou de jeux de donn\u00e9es dont on veut extraire quelque chose.<\/p>\n Il faut bien \u00e9videmment se poser la question de ce que l\u2019on veut en faire. Au d\u00e9part, on ne sait pas trop. L\u2019entreprise dispose par exemple d\u2019une base de donn\u00e9es du comportement de ses clients et voudrait l\u2019utiliser pour identifier les clients \u00e0 potentiel d\u2019upsell ou de cross-sell (ventes additionnelles), ou au contraire, ceux qui peuvent g\u00e9n\u00e9rer du churn (abandonner l\u2019offre). Elle peut aussi vouloir d\u00e9terminer les actions \u00e0 mener pour optimiser un syst\u00e8me complexe : client, production, autre. L\u2019IA peut aussi servir dans tout un tas de domaines : dans la robotique (qui int\u00e8gre g\u00e9n\u00e9ralement tout un tas de briques technologiques : vision artificielle, m\u00e9canique, syst\u00e8mes experts, etc), dans la relation client, pour cr\u00e9er des solutions de recommandation, pour analyser des tendances, pour analyser l\u2019image de l\u2019entreprise dans les m\u00e9dias et les r\u00e9seaux sociaux. Etc. Et la gradation est forte entre g\u00e9n\u00e9rique et sp\u00e9cifique dans ces diff\u00e9rentes solutions.<\/p>\n Des projets d\u2019IA peuvent se passer de machine learning et de deep learning et s\u2019appuyer sur des connaissances structur\u00e9es et des moteurs de r\u00e8gles. C\u2019est par exemple le cas pour cr\u00e9er des syst\u00e8mes d\u2019assistance \u00e0 la maintenance industrielle. D\u00e8s lors que l\u2019on manipule des donn\u00e9es tr\u00e8s structur\u00e9es et une architecture de concepts, les outils de deep learning sont inadapt\u00e9s. On se retrouve ici dans un domaine ancien, qui a connu ses heures de gloire pendant les ann\u00e9es 1980, avec LISP et Prolog. Il n\u2019est pas p\u00e9rim\u00e9 pour autant, malgr\u00e9 tout le tintouin autour du deep learning, pr\u00e9sent\u00e9 \u00e0 tors comme une sorte de solution universelle des besoins de l\u2019IA.<\/p>\n Comme pour toute nouvelle technologie, l\u2019innovation proc\u00e8de de mani\u00e8re it\u00e9rative en d\u00e9couvrant et\u2026 en comprenant, ce que la technologie peut apporter et en identifiant des besoins non pourvus par les technologies traditionnelles qui pourraient \u00eatre trait\u00e9s par ces nouveaux outils un peu myst\u00e9rieux. Cette d\u00e9marche n\u00e9cessite de faire appel \u00e0 des sp\u00e9cialistes de l\u2019IA qui connaissent la diversit\u00e9 de ses nombreuses techniques et m\u00e9thodes.<\/p>\n Conceptuellement, pour les entreprises qui disposent de gros volumes de donn\u00e9es, l\u2019IA constitue souvent un ensemble de techniques qui compl\u00e8te une longue lign\u00e9e de technologies : les bases de donn\u00e9es, la business intelligence, le big data, les data analytics et la data intelligence.<\/p>\n Le projet<\/strong><\/p>\n Supposons qu\u2019un besoin est bien identifi\u00e9, que les donn\u00e9es soient disponibles et que les technologies de l\u2019IA puissent apporter une solution. Une fois ceci qualifi\u00e9, on peut rentrer en mode projet.<\/p>\n Va-t-on mener plusieurs \u201cproof of concepts\u201d en parall\u00e8le avec diff\u00e9rents frameworks d\u2019IA tels que ceux qui sont cit\u00e9s auparavant, et comparer ensuite les r\u00e9sultats ? Ce ne serait pas raisonnable et surtout, ce serait trop co\u00fbteux. Il vaut mieux se faire conseiller pour choisir les bons outils et ensuite mener son exp\u00e9rimentation.<\/p>\n Un projet d\u2019IA d\u2019entreprise a un petit c\u00f4t\u00e9 \u201crecherche applicative\u201d. En effet, on ne va pas juste alimenter une b\u00e9b\u00eate de deep learning avec un tombereau de donn\u00e9es et attendre un beau r\u00e9sultat \u00e0 la sortie d\u2019un tuyau. Il va falloir extraire et pr\u00e9parer les donn\u00e9es, les nettoyer, les filtrer, savoir ne conserver que ce qui est pertinent. On va ensuite param\u00e9trer les frameworks de deep learning ou autres en fonction des algorithmes \u00e0 utiliser. Il n\u2019existe pas une technique unifi\u00e9e de machine learning ou de deep learning, mais des dizaines de variantes ! Puis on va observer les r\u00e9sultats. Ils ne seront pas forc\u00e9ment probants du premier coup. Il faudra reboucler sur les donn\u00e9es et le param\u00e9trage pour affiner le mod\u00e8le. Et il faudra aussi bien visualiser les r\u00e9sultats pour qu\u2019ils soient compr\u00e9hensibles.<\/p>\n On appr\u00e9ciera alors la qualit\u00e9 des r\u00e9sultats. Le propre des techniques de machine learning et de deep learning est qu\u2019elles g\u00e9n\u00e8rent rarement des r\u00e9sultats exacts \u00e0 100%. Il y a toujours un taux d\u2019erreur, que l\u2019on minimise avec l\u2019exp\u00e9rience et que l\u2019on cherche \u00e0 faire descendre en-dessous d\u2019un niveau acceptable. Comme le taux d\u2019erreurs d\u2019un syst\u00e8me de reconnaissance vocale ou celui de l\u2019identification de pathologies dans de l\u2019imagerie m\u00e9dicale. A ce jour, les solutions les plus avanc\u00e9es dans ce dernier domaine g\u00e9n\u00e8rent un taux d\u2019erreur plus faible que celui des sp\u00e9cialistes ! C\u2019est donc acceptable !<\/p>\n Un benchmark pourra \u00e9ventuellement avoir lieu pour comparer un projet men\u00e9 en mode \u201cIA\u201d et un projet men\u00e9 avec des outils traditionnels de data mining. Si ceux-ci peuvent donner des r\u00e9sultats sur des donn\u00e9es chiffr\u00e9es, ils ne seront pas du tout \u00e0 la hauteur pour traiter des donn\u00e9es images\/vid\u00e9o\/audio, l\u00e0 o\u00f9 le deep learning est devenu indispensable.<\/p>\n Les \u00e9quipes<\/strong><\/p>\n Un projet d\u2019IA est comme un projet d\u2019objets connect\u00e9s : il va devoir r\u00e9unir des talents et comp\u00e9tences divers, certaines internes aux entreprises, d\u2019autres externes. Il y a la comp\u00e9tence m\u00e9tier qui prime. Suit la comp\u00e9tence IT plus traditionnelle, pour la collecte et l\u2019exploitation des donn\u00e9es. Le param\u00e9trage des moteurs d\u2019IA passe par des sp\u00e9cialistes d\u2019un nouveau genre qui ont de bonnes bases en IA sachant que la France en forme \u00e0 peine 1300 par an actuellement. Ils sont compl\u00e9t\u00e9s par des \u201cdata scientists\u201d qui jouent parfois tous les r\u00f4les. Apr\u00e8s avoir rencontr\u00e9 les pires des difficult\u00e9s \u00e0 recruter de bons d\u00e9veloppeurs, les entreprises de services, les \u00e9diteurs de logiciels comme les startups vont rencontrer de grandes difficult\u00e9s \u00e0 recruter les bons talents \u00e0 m\u00eame de param\u00e9trer un moteur de deep learning ! Cela va n\u00e9cessiter une mise \u00e0 niveau de nombreux cursus de formation ! Les plus courageux peuvent se former en ligne comme avec ces 18 heures de cours en ligne<\/a> de Fast.ai, r\u00e9alis\u00e9es par Jeremy Howard et Rachel Thomas.<\/p>\n Les entreprises de services num\u00e9riques qui ma\u00eetrisent ce genre de projet ne sont pas encore nombreuses. Elles sont en train de s\u2019y mettre. Les startups ne sont de leur c\u00f4t\u00e9 pas forc\u00e9ment adapt\u00e9es \u00e0 la conduite de projets. Sauf pour gagner les premiers clients en entreprise. Pour les rep\u00e9rer, on peut commencer par visiter leurs sites web et inventorier leurs repr\u00e9sentants chefs de projets et ing\u00e9nieurs qui s\u2019expriment dans les conf\u00e9rences sur l\u2019IA. Dans les mois et ann\u00e9es \u00e0 venir, les grands acteurs du service vont probablement faire l\u2019acquisition de petits acteurs sp\u00e9cialis\u00e9s dans l\u2019IA.<\/p>\n Les projets peuvent \u00eatre vite couteux s\u2019il faut mettre en branle une arm\u00e9e de consultants, data scientists, d\u00e9veloppeurs et aussi designers. M\u00eame si le c\u0153ur du r\u00e9acteur d\u2019un projet d\u2019IA est sp\u00e9cifique \u00e0 l\u2019IA, autour, il faudra aussi faire tourner des briques plus classiques, tant c\u00f4t\u00e9 back-end (pr\u00e9paration des donn\u00e9es, bases de donn\u00e9es, stockage, infrastructure) que du front-end (cr\u00e9er de belles interfaces pour les utilisateurs).<\/p>\n Les \u00e9tudes de cas<\/strong><\/p>\n L\u2019autre forme de benchmark consiste \u00e0 analyser des \u00e9tudes de cas de clients se rapprochant de son secteur d\u2019activit\u00e9. Les grands acteurs de l\u2019IA en publient quelques-unes.<\/p>\n L\u2019un des plus prolixes dans l\u2019exercice est IBM qui promeut ses solutions et services de \u201ccognitive computing\u201d via la marque IBM Watson. Ces diff\u00e9rentes \u00e9tudes de cas ne sont cependant pas toujours tr\u00e8s bien document\u00e9es. La plupart d\u2019entre elles sont situ\u00e9es au niveau marketing, tr\u00e8s simpliste avec peu de pr\u00e9cisions sur les techniques mises en \u0153uvre. Et quand elles le sont, il ne s\u2019agit pas de toute la panoplie de l\u2019\u00e9diteur mais de quelques outils bien pr\u00e9cis, parfois \u00e9loign\u00e9s de la notion m\u00eame d\u2019IA ! Parfois, ces \u00e9tudes de cas sont celles de produits de startups comme Luminoso<\/a> <\/strong>et sa solution d\u2019analyse des textes, pr\u00e9sent\u00e9e chez IBM Watson IOT.<\/p>\n![\"Machine](\"https:\/\/www.oezratty.net\/wordpress\/wp-content\/WindowsLiveWriter\/Peut-on-benchmarker-lIA-_9E2B\/Machine-Learning-et-Deep-Learning_thumb.jpg\" "\\"Machine")
<\/a><\/p>\n![\"Deep](\"https:\/\/www.oezratty.net\/wordpress\/wp-content\/WindowsLiveWriter\/Peut-on-benchmarker-lIA-_9E2B\/Deep-Learning-Startups-CBInsights_thumb.jpg\" "\\"Deep")
<\/a><\/p>\n![\"Deep](\"https:\/\/www.oezratty.net\/wordpress\/wp-content\/WindowsLiveWriter\/Peut-on-benchmarker-lIA-_9E2B\/Deep-learning-frameworks_thumb.jpg\" "\\"Deep")
<\/a><\/p>\n![\"IA](\"https:\/\/www.oezratty.net\/wordpress\/wp-content\/WindowsLiveWriter\/Peut-on-benchmarker-lIA-_9E2B\/IA-Open-source-tools-comparison_thumb.jpg\" "\\"IA")
<\/a><\/p>\n![\"Tensorflow\"](\"https:\/\/www.oezratty.net\/wordpress\/wp-content\/WindowsLiveWriter\/Peut-on-benchmarker-lIA-_9E2B\/Tensorflow_thumb.jpg\" "\\"Tensorflow\\"")
<\/a><\/p>\n![\"Nvidia](\"https:\/\/www.oezratty.net\/wordpress\/wp-content\/WindowsLiveWriter\/Peut-on-benchmarker-lIA-_9E2B\/Nvidia-GV100_thumb.jpg\" "\\"Nvidia")
<\/a><\/p>\n![\"Fast.ai](\"https:\/\/www.oezratty.net\/wordpress\/wp-content\/WindowsLiveWriter\/Peut-on-benchmarker-lIA-_9E2B\/Fast.ai-Deep-Learning-course_thumb.jpg\" "\\"Fast.ai")
<\/a><\/p>\n
![\"IBM](\"https:\/\/www.oezratty.net\/wordpress\/wp-content\/WindowsLiveWriter\/Peut-on-benchmarker-lIA-_9E2B\/IBM-Watson-IOT-Case-Studies_thumb.jpg\" "\\"IBM")
<\/a><\/p>\n