{"id":15194,"date":"2017-11-30T22:41:16","date_gmt":"2017-11-30T20:41:16","guid":{"rendered":"http:\/\/www.oezratty.net\/wordpress\/?p=15194"},"modified":"2017-12-01T16:42:11","modified_gmt":"2017-12-01T14:42:11","slug":"impact-ia-cybersecurite","status":"publish","type":"post","link":"https:\/\/www.oezratty.net\/wordpress\/2017\/impact-ia-cybersecurite\/","title":{"rendered":"L’impact de l’IA sur la cybers\u00e9curit\u00e9"},"content":{"rendered":"

J\u2019intervenais en ouverture du forum annuel du Cert-IST mercredi 29 novembre 2017 \u00e0 Paris pour dresser un tableau g\u00e9n\u00e9ral de l\u2019impact de l\u2019intelligence artificielle sur la cybers\u00e9curit\u00e9 (pr\u00e9sentations<\/a>).<\/p>\n

Le Cert-IST<\/strong> – Computer Emergency Response Team – Industrie, Services et Tertiaire<\/em> – est une association qui \u00e9mane de Thales et qui partage les bonnes pratiques dans la cybers\u00e9curit\u00e9 entre ses entreprises fran\u00e7aises membres. On y trouve des banques, op\u00e9rateurs t\u00e9l\u00e9coms, des services publics et divers industriels, notamment des secteurs de l\u2019a\u00e9rospatial et de la d\u00e9fense. Mon intervention avait \u00e9t\u00e9 propos\u00e9e par une autre association, le CLUSIF <\/strong>\u2013 Club de la S\u00e9curit\u00e9 de l\u2019Information Fran\u00e7ais \u2013 qui associe des offreurs de solutions de cybers\u00e9curit\u00e9 et des utilisateurs de ces solutions. C\u2019est un peu l\u2019\u00e9quivalent d\u2019un mixte Syntec Num\u00e9rique + CIGREF (club des DSI de grandes entreprises) appliqu\u00e9 \u00e0 la cybers\u00e9curit\u00e9.<\/p>\n

Mon intervention et celles auxquelles j\u2019ai pu assister lors de ce forum me donnent donc l\u2019occasion de faire un point rapide sur ce sujet \u00e9pineux de l\u2019impact de l\u2019IA sur la cybers\u00e9curit\u00e9. Le forum mettait tr\u00e8s bien en \u00e9vidence des aspects tr\u00e8s pratiques et concrets des usages ou d\u00e9rives de l\u2019IA, bien loin des th\u00e8ses fumeuses de la singularit\u00e9.<\/p>\n

Dans mon intervention, j\u2019ai commenc\u00e9, comme d\u2019habitude, par segmenter les technologies de l\u2019IA en grandes composantes : les moteurs de r\u00e8gles, le machine learning, le machine learning \u00e0 base de r\u00e9seaux de neurones, puis le deep learning qui utilise des r\u00e9seaux de neurones profonds, et enfin, les agents et r\u00e9seaux d\u2019agents qui permettent d\u2019assembler les briques de l\u2019IA pour cr\u00e9er des solutions : robots, v\u00e9hicules autonomes, chatbots et autres.<\/p>\n

J\u2019ai surtout expliqu\u00e9 comment fonctionnaient les r\u00e9seaux de neurones profonds avec le cas de la reconnaissance d\u2019images, puis expliqu\u00e9 comment ces r\u00e9seaux de neurones \u00e9taient mis en \u0153uvre c\u00f4t\u00e9 mat\u00e9riel dans des processeurs sp\u00e9cialis\u00e9s (GPU et processeurs neuromorphiques) qui font leur apparition \u00e0 la fois du c\u00f4t\u00e9 des serveurs, notamment pour les phases d\u2019entrainement des r\u00e9seaux de neurones, et du c\u00f4t\u00e9 des objets connect\u00e9s et mobiles, pour leur ex\u00e9cution. Avec les nouveaux risques que cela peut g\u00e9n\u00e9rer. Il y a d\u2019ailleurs un lien \u00e9troit, dans la cybers\u00e9curit\u00e9, entre l\u2019IA, les objets connect\u00e9s en tout genre et les r\u00e9seaux t\u00e9l\u00e9coms. Ils constituent un continuum qu\u2019il faut s\u00e9curiser de bout en bout ! Et les vuln\u00e9rabilit\u00e9s \u00e0 traiter sont tr\u00e8s nombreuses \u00e0 chacune des \u00e9tapes de la chaine qui alimente les solutions exploitant des techniques logicielles \u00e0 base d\u2019IA. Cela affecte surtout celles qui fonctionnent avec des mod\u00e8les probabilistes comme dans tout le p\u00e9rim\u00e8tre du machine learning.<\/p>\n

\"Processeurs<\/a><\/p>\n

J\u2019expliquais aussi ce que l\u2019on appelle le \u201cbiais des donn\u00e9es\u201d, et comment celui-ci peut amener \u00e0 cr\u00e9er un syst\u00e8me d\u2019IA qui ne fonctionne pas bien dans la pratique lorsque ses donn\u00e9es d\u2019entrainement ne sont pas repr\u00e9sentatives de son p\u00e9rim\u00e8tre d\u2019usage. L\u2019exemple classique \u00e9tant le syst\u00e8me de reconnaissance faciale qui n\u2019a \u00e9t\u00e9 entrain\u00e9 qu\u2019avec des visages de blancs et qui ne reconnait donc pas les visages de couleur. Mais cet exemple, marquant, peut en illustrer d\u2019autres.<\/p>\n

\"Biais<\/a><\/p>\n

Au-del\u00e0 de consid\u00e9rations humaines et \u00e9thiques, la question qui se pose est purement statistique et probabiliste : un syst\u00e8me d\u2019IA \u00e0 base de machine learning et de deep learning ne fonctionnera bien que si les donn\u00e9es qui ont servi \u00e0 l\u2019entrainer sont repr\u00e9sentatives des donn\u00e9es qui seront ensuite exploit\u00e9es en production. C\u2019est exactement le m\u00eame probl\u00e8me que dans un sondage politique : l\u2019\u00e9chantillon utilis\u00e9 doit \u00eatre repr\u00e9sentatif de la population d\u2019ensemble. Si vous faites un sondage uniquement \u00e0 Paris, dans le XVIe arrondissement, dans le 93, en Mayenne ou \u00e0 Strasbourg, vous n\u2019aurez pas un \u00e9chantillon repr\u00e9sentatif de la diversit\u00e9 du pays.<\/p>\n

De nombreux syst\u00e8mes d\u2019IA sont entrain\u00e9s avec des sources de donn\u00e9es internes et externes \u00e0 l\u2019entreprise. C\u2019est un moyen de cr\u00e9er des mod\u00e8les pertinents avec des donn\u00e9es compl\u00e9mentaires, mais cela pr\u00e9sente aussi une surface d\u2019attaque plus grande par des cyberpirates. Il faut donc en tenir compte dans la conception des mod\u00e8les.<\/p>\n

\"Donnees<\/a><\/p>\n

Enfin, j\u2019ai fait un rapide tour de quelques nouvelles menaces li\u00e9es au machine learning et surtout au deep learning. Montrant par exemple comment on peut tromper des syst\u00e8mes de vision artificielle en alt\u00e9rant tr\u00e8s l\u00e9g\u00e8rement les images. L\u00e9g\u00e8rement mais suffisamment pour modifier la reconnaissance d\u2019images qui, dans la pratique, s\u2019appuie sur des mod\u00e8les probabilistes. Cf Understanding the limites of deep learning<\/a> de Mariya Yao (mars 2017).<\/p>\n

\"Reseau<\/a><\/p>\n

J\u2019ai aussi illustr\u00e9 cela avec la m\u00e9thode de cr\u00e9ation de masques permettant de tromper le login FaceID de l\u2019iPhone X. Cette m\u00e9thode digne de la s\u00e9rie et des films Mission Impossible, consiste \u00e0 cr\u00e9er un masque 3D imitant la forme d\u2019un visage standard, sur lequel sont plaqu\u00e9es les photos imprim\u00e9es en 3D des yeux, de la bouche et du nez de la personne dont on veut d\u00e9bloquer le t\u00e9l\u00e9phone. Pourquoi ces parties du visage ? Parce que ce sont celles qui sont reconnues par le syst\u00e8me de login d\u2019Apple, et par les syst\u00e8mes d\u2019identification faciale en g\u00e9n\u00e9ral. C\u2019est l\u00e0 que se situent les traits qui sont transform\u00e9s en param\u00e8tres math\u00e9matiques uniques permettant de reconnaitre un individu. C\u2019est une belle vuln\u00e9rabilit\u00e9, mais le hack n\u2019est tout de m\u00eame pas facile \u00e0 r\u00e9aliser. Seuls les pirates r\u00e9ellement d\u00e9termin\u00e9s l\u2019exploiteront et sur des cibles dites \u201c\u00e0 forte valeur\u201d.<\/p>\n

\"FaceID<\/a><\/p>\n

J\u2019ai aussi pr\u00e9sent\u00e9 quelques exemples de \u201cfake news\u201d cr\u00e9\u00e9s par des r\u00e9seaux de neurones g\u00e9n\u00e9ratifs, comme le projet \u201cface2face reenactment<\/a>\u201d qui permet d\u2019animer un visage donn\u00e9 \u00e0 partir de la captation de la vid\u00e9o d\u2019une tierce personne, et celle consistant \u00e0 faire parler Barack Obama avec un texte pr\u00e9par\u00e9. La technique utilise deux r\u00e9seaux de neurones g\u00e9n\u00e9ratifs : l\u2019un pour animer son visage et l\u2019autre pour g\u00e9n\u00e9rer sa voix, originaire de la startup Lyrebird<\/a>. Le tout est assez bluffant. Au passage, un petit truc : ces r\u00e9seaux g\u00e9n\u00e9ratifs fonctionnent pour l\u2019instant \u00e0 basse r\u00e9solution. Les images g\u00e9n\u00e9r\u00e9es d\u00e9passent rarement 256 pixels de c\u00f4t\u00e9 pour des raisons de puissance machine disponible. Mais avec les progr\u00e8s du mat\u00e9riel, les faux vont probablement gagner rapidement en r\u00e9solution et en r\u00e9alisme.<\/p>\n

\"Face2face\"<\/a><\/p>\n

Juste apr\u00e8s moi, j\u2019ai assist\u00e9 \u00e0 une tr\u00e8s bonne pr\u00e9sentation pratique d\u2019Ana\u00ebl Beaugnon <\/strong>de l\u2019ANSSI<\/strong>, l\u2019agence du gouvernement qui g\u00e8re la s\u00e9curit\u00e9 des syst\u00e8mes d\u2019information de l\u2019Etat mais prodigue aussi des recommandations aux entreprises. Elle expliquait comment les solutions \u00e0 base de machine learning \u00e9taient utilis\u00e9es pour d\u00e9tecter des intrusions. Elle mettait bien en \u00e9vidence les mod\u00e8les statistiques sous-jacents et leurs limites. L\u2019enjeu de ces syst\u00e8mes est de minimiser leur d\u00e9tection de faux positifs ou, surtout, de faux n\u00e9gatifs, en raison d\u2019effets de bord. Ana\u00ebl Baugnon pr\u00e9sentait l\u2019outil SecuML d\u00e9velopp\u00e9 \u00e0 l\u2019ANSSI qui sert \u00e0 diagnostiquer un classifieur de cybers\u00e9curit\u00e9. Il est en open source sur Github<\/a>. <\/strong>J\u2019ai au passage d\u00e9couvert de nombreux outils du monde de la cybers\u00e9curit\u00e9 en entreprise : la base de donn\u00e9es de malwares Contagio<\/a>, les outils de d\u00e9tection de fichiers PDF malveillants, le projet ILAB<\/a> d\u2019annotation de donn\u00e9es par les experts pour la d\u00e9tection d\u2019intrusion dont Ana\u00ebl Baugnon est coauteure, ainsi que le projet ALADIN<\/a>.<\/p>\n

Sa pr\u00e9sentation faisait bien \u00e9cho \u00e0 une tendance que l\u2019on peut observer du c\u00f4t\u00e9 des startups du secteur, qui se sont lanc\u00e9es dans l\u2019utilisation du machine learning (avec ou sans r\u00e9seaux de neurones) pour d\u00e9tecter des virus, phishings et autres intrusions. La tendance lourde du secteur consiste \u00e0 cr\u00e9er des mod\u00e8les statistiques qui d\u00e9tectent des \u201cpatterns\u201d dans les logiciels suspects plut\u00f4t que de cr\u00e9er des bases de signature \u00e0 la main. Ces syst\u00e8mes exploitent essentiellement des techniques de machine learning.<\/p>\n

Dans mon dernier ebook \u201cLes usages de l\u2019intelligence artificielle<\/a>\u201d publi\u00e9 en octobre 2017 (gratuit, et d\u00e9j\u00e0 t\u00e9l\u00e9charg\u00e9 plus de 14 500 fois), je faisais ainsi un inventaire page 177 de quelques startups de ce secteur utilisant des mod\u00e8les de machine learning : \u201cLes tentatives de phishing sont d\u00e9tect\u00e9es par GreatHorn <\/b>(2015, $8,83m) ou avec Lookout<\/b> (2007, $282m) qui s\u00e9curise les mobiles avec un mod\u00e8le pr\u00e9dictif. Les malwares sont d\u00e9tect\u00e9s avec du machine learning par Cylance<\/b> (2012, $177M). L\u2019isra\u00e9lien DeepInstinct <\/b>(2014, $32M) <\/b>prot\u00e8ge les syst\u00e8mes contre les failles de s\u00e9curit\u00e9 r\u00e9centes (\u201czero day threats\u201d). Ce serait la premi\u00e8re startup \u00e0 exploiter le deep learning – avec des GPU Nvidia – tandis que la plupart utilisaient du machine learning jusqu\u2019\u00e0 pr\u00e9sent pour faire de l\u2019analyse multifactorielle des menaces en lieu et place de l\u2019utilisation de bases de signatures de virus. Dans le m\u00eame genre, Recorded Future<\/b> (2009, $33M) utilise le machine learning pour d\u00e9tecter les menaces de s\u00e9curit\u00e9 en temps r\u00e9el. Des startups comme Onfido<\/b> (2012, $30M) v\u00e9rifient l\u2019identit\u00e9 de clients de service en ligne. C\u2019est de la d\u00e9tection de fraude bas\u00e9e sur du machine learning et du pr\u00e9dictif. L\u2019isra\u00e9lien Fortscale<\/b> (2012, $32M) identifie de son c\u00f4t\u00e9 les menaces internes dans les entreprises, avec sa solution User & Entity Behavioral Analytics (UEBA). Il va d\u00e9tecter des comportements suspects comme la copie de fichiers de grande taille sur des cl\u00e9s USB ! Dans les pays o\u00f9 ce genre de surveillance est autoris\u00e9e !\u201d.<\/p>\n

Il faudrait aussi ajouter les outils qui permettent d’analyser les failles de s\u00e9curit\u00e9 de ses propres solutions logicielles. Les offres sont abondantes dans ce domaine. On peut notamment citer le framework open source Frame-C<\/a> d\u00e9velopp\u00e9 par le CEA-LIST<\/strong>, l’institut de recherche sur les syst\u00e8mes num\u00e9riques intelligents du CEA, qui s’appuie directement sur des m\u00e9thodes formelles \u00e0 base d’IA.<\/p>\n

Dans la pratique, les mod\u00e8les doivent cependant \u00eatre entra\u00een\u00e9s par des bases de donn\u00e9es associant de nombreux logiciels et leur niveau de menace. Vincent Letoux d\u2019Engie<\/strong> insistait dans sa pr\u00e9sentation sur le besoin de ne jamais \u00e9vacuer l\u2019Homme des processus de d\u00e9cision dans ces syst\u00e8mes. C\u2019est un point de vue de bon sens. De son c\u00f4t\u00e9, Dimitri Tromboff de Thales<\/strong> expliquait comment le machine learning \u00e9tait utilis\u00e9 dans la pratique.<\/p>\n

D\u2019autres interventions portaient sur des sujets de cybers\u00e9curit\u00e9 \u00e9loign\u00e9s de la th\u00e9matique de l\u2019IA, comme un post-mortem de la lutte contre les ransomwares. Il y avait notamment celle du dynamique Eric Barbry<\/strong>, avocat du cabinet d\u2019Alain Bensoussan que l\u2019on ne pr\u00e9sente plus. Il expliquait en 45 minutes bien denses les enjeux de l\u2019entr\u00e9e en vigueur de la directive RGPD le 25 mai 2018, portant sur la protection des donn\u00e9es personnelles et la vie priv\u00e9e. Les entreprises vont avoir du pain sur la planche ! Il existe d\u2019ailleurs une v\u00e9ritable interaction entre la RGPD et l\u2019IA, notamment autour des notions du droit \u00e0 l\u2019oubli et de celui de la portabilit\u00e9 des donn\u00e9es. Lorsque vos donn\u00e9es personnelles ont servi \u00e0 entrainer un r\u00e9seau de neurones, comment fait-on pour faire oublier votre existence \u00e0 ce r\u00e9seau de neurones ? La question est math\u00e9matique et logique autant que juridique !<\/p>\n

Bref, comme dans tous les m\u00e9tiers du num\u00e9rique, la cybers\u00e9curit\u00e9 n\u2019\u00e9chappe pas \u00e0 la vague de l\u2019IA. L\u2019IA am\u00e8ne \u00e0 revoir les raisonnements, elle change les m\u00e9thodes, et permet de se rem\u00e9morer que l\u2019IA ne fonctionne pas toute seule. Elle est aliment\u00e9e et corrig\u00e9e en permanence par des donn\u00e9es d\u2019origine humaine.<\/p>\n","protected":false},"excerpt":{"rendered":"

J\u2019intervenais en ouverture du forum annuel du Cert-IST mercredi 29 novembre 2017 \u00e0 Paris pour dresser un tableau g\u00e9n\u00e9ral de l\u2019impact de l\u2019intelligence artificielle sur la cybers\u00e9curit\u00e9 (pr\u00e9sentations). Le Cert-IST – Computer Emergency Response Team – Industrie, Services et Tertiaire – est une association qui \u00e9mane de Thales et qui partage les bonnes pratiques dans […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[2659,7,23],"tags":[3002,1406,3000,3001,2637,2817,1912],"class_list":["post-15194","post","type-post","status-publish","format-standard","hentry","category-intelligence-artificielle","category-logiciels","category-logiciels-libres","tag-anael-beaugnon","tag-anssi","tag-cert-ist","tag-clusif","tag-cybersecurite","tag-engie","tag-thales"],"views":23706,"_links":{"self":[{"href":"https:\/\/www.oezratty.net\/wordpress\/wp-json\/wp\/v2\/posts\/15194","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.oezratty.net\/wordpress\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.oezratty.net\/wordpress\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.oezratty.net\/wordpress\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.oezratty.net\/wordpress\/wp-json\/wp\/v2\/comments?post=15194"}],"version-history":[{"count":0,"href":"https:\/\/www.oezratty.net\/wordpress\/wp-json\/wp\/v2\/posts\/15194\/revisions"}],"wp:attachment":[{"href":"https:\/\/www.oezratty.net\/wordpress\/wp-json\/wp\/v2\/media?parent=15194"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.oezratty.net\/wordpress\/wp-json\/wp\/v2\/categories?post=15194"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.oezratty.net\/wordpress\/wp-json\/wp\/v2\/tags?post=15194"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}