{"id":950,"date":"2008-05-24T17:35:23","date_gmt":"2008-05-24T15:35:23","guid":{"rendered":"http:\/\/www.oezratty.net\/wordpress\/2008\/tutorial-outwit-rcupration-de-listes\/"},"modified":"2008-08-01T21:48:43","modified_gmt":"2008-08-01T19:48:43","slug":"tutorial-outwit-rcupration-de-listes","status":"publish","type":"post","link":"https:\/\/www.oezratty.net\/wordpress\/2008\/tutorial-outwit-rcupration-de-listes\/","title":{"rendered":"Tutorial Outwit – récupération de listes"},"content":{"rendered":"

Apr\u00e8s avoir d\u00e9crit l’objet du logiciel Outwit Hub<\/a>, passons \u00e0 un petit tutorial qui vous permettra de l’exp\u00e9rimenter pour une application pratique: la r\u00e9cup\u00e9ration de listes de sites web. Il vous faudra d’abord installer ou disposer de Firefox 3.x de Firefox. Ensuite, vous installerez la b\u00eata d’Outwit Hub<\/a>. Elle fonctionne sur Windows, MacOS comme sur Linux.<\/p>\n

Je vais utiliser ici un exemple de r\u00e9cup\u00e9ration de donn\u00e9es structur\u00e9es d\u00e9j\u00e0 exploit\u00e9 pour la pr\u00e9paration de mes supports de cours sur l’\u00e9conomie de l’innovation : la liste du Forbes 2000<\/a> qui regroupe les 2000 plus grandes entreprises mondiales. Elle est porteuse d’une tr\u00e8s grande richesse d’informations. Cette liste apparait sous forme de tableaux que l’on peut copier coller \u00e0 la main dans Excel. Mais il faut charger 20 pages ce qui est bien fastidieux.<\/p>\n

Alors, lan\u00e7ons Firefox puis Outwit Hub \u00e0 partir de l’icone install\u00e9e dans la toolbar de Firefox par ce dernier comme indiqu\u00e9 ci-dessous. <\/p>\n

\"image\"<\/a> <\/p>\n

Dans la barre d’URL d’Outwit Hub, collez l’URL de Forbes<\/a>. Faites “Enter” et la page s’affiche comme dans tout navigateur. Ensuite, cliquez sur le tab “Data<\/strong>” comme indiqu\u00e9 ci-dessous.<\/p>\n

\"image\"<\/a> <\/p>\n

Cela affiche les donn\u00e9es tabul\u00e9es de la page HTML. Mais on n’a pas encore un beau tableau. Pour ce faire, cliquez sur le bouton “Guess<\/strong>” comme indiqu\u00e9 ci-dessous. Cette fonction d\u00e9clenche la d\u00e9tection automatique d’un v\u00e9ritable tableau de donn\u00e9es structur\u00e9es par Outwit. <\/p>\n

\"image\"<\/a> <\/p>\n

Le r\u00e9sultat apparait ci-dessous. A partir de l\u00e0, on va s\u00e9lectionner toutes les lignes dans la liste, par exemple en cliquant sur une ligne et en faisant “CTRL-A” avec le clavier. Et puis, on va la copier dans la zone en bas de la fen\u00eatre qui est le “Catch<\/strong>” en cliquant sur le bouton du m\u00eame nom. Le catch, c’est ce que l’on a attrap\u00e9 dans les pages et qui s’accumule au fur et \u00e0 mesure. Ensuite, on peut r\u00e9cup\u00e9rer ce qu’il y a dans le catch de diff\u00e9rentes mani\u00e8res selon qu’il s’agit d’images ou de listes.<\/p>\n

\"image\"<\/a> <\/p>\n

Maintenant, nous allons lancer le processus qui va automatiquement r\u00e9cup\u00e9rer la suite du Forbes 2000 dans les 19 pages web suivantes. Il faut d’abord s\u00e9lectionner la checkbox “Catch selection<\/strong>” qui indique que dans toute ouverture de page ou s\u00e9lection de page suivante, le contenu identifi\u00e9 sera automatiquement bascul\u00e9 dans le catch. Ensuite, on cliquera sur la “double fl\u00e8che droite<\/strong>” (fast forward) qui est dans la barre d’outils en haut de Outwit. Elle d\u00e9clenchera l’analyse automatique des pages suivantes jusqu’\u00e0 la vingti\u00e8me. Si on veut le faire \u00e0 la main, on peut utiliser le bouton “fl\u00e8che droite” (“Play”) page par page. On peut aussi arr\u00eater le scan automatique des pages avec ESC<\/strong> ou en cliquant \u00e0 nouveau sur la double fl\u00e8che.<\/p>\n

\"image\"<\/a> <\/p>\n

Une fois les 20 pages scann\u00e9es ce qui prend quelques minutes \u00e0 peine, le catch comprend bien 2000 entr\u00e9es. On va maintenant le sauvegarder pour l’exploiter.<\/p>\n

\"image\"<\/a> <\/p>\n

Pour ce faire, on va dans le menu “File<\/strong>” et on lance “Export selection as…<\/strong>“. Le seul format support\u00e9 est pour l’instant Excel. C’est en fait un sch\u00e9ma XML support\u00e9 par Excel, mais je ne sais pas trop lequel. Et il n’est pas lisible dans OpenOffice 2.4. Un export CSV est en tout cas pr\u00e9vu \u00e0 terme. Et on peut tout de m\u00eame copier la s\u00e9lection du haut ou celle du catch dans le presse papier pour la r\u00e9cup\u00e9rer ailleurs (avec le bouton droit de la souris et “Copy<\/strong>“).<\/p>\n

\"image\"<\/a> <\/p>\n

Et on ouvre le fichier sous Excel<\/strong>, version 2007 US dans l’exemple ci-dessous (\u00e7a fonctionne peut-\u00eatre sous OpenOffice). On \u00e9limine ensuite les colonnes inutiles. On peut constater que la colonne “Rank” n’a pas \u00e9t\u00e9 bien r\u00e9cup\u00e9r\u00e9e mais ce n’est pas grave dans ce cas l\u00e0. C’est un d\u00e9faut qui sera trait\u00e9 dans les \u00e9volutions d’Outwit pour faire en sorte que la d\u00e9tection automatique de la structure des tables d’une page ne soit pas refaire \u00e0 chaque page.<\/p>\n

\"image\"<\/a> <\/p>\n

Pour exploiter les donn\u00e9es, il faut les normaliser au format fran\u00e7ais : on s\u00e9lectionne les colonnes de chiffres, on utilise la fonction de Recherche\/Remplacement d’Excel pour remplacer les “,” (virgules) par rien du tout, et ensuite les “.” par “,” et le tour est jou\u00e9. L\u00e0 encore, cette transformation devrait \u00eatre effectu\u00e9e automatiquement par Outwit Hub apr\u00e8s la fin de la b\u00eata en fonction de vos “Regional Settings”.<\/p>\n

Et hop, on cr\u00e9\u00e9 un petit tableau dynamique crois\u00e9 et un camember avec par exemple la r\u00e9partition par pays de la capitalisation boursi\u00e8re des 2000 plus grandes entreprises mondiales.<\/p>\n

\"image\"<\/a> <\/p>\n

Pour l’instant, ce processus automatique (Guess) ne fonctionne pas encore parfaitement sur tous les sites. J’ai pu le tester avec succ\u00e8s sur Kelkoo.fr et quelques autres sites comme des sites de recherche d’emploi. Mais entre les quatre fonctionnalit\u00e9s d’extraction de donn\u00e9es sous l’onglet “Data” (trois sont automatiques: tables, listes et guess, et une est manuelle : scrapers), il y a en g\u00e9n\u00e9ral toujours un moyen de s’en sortir. D’autres tutoriaux suivront qui seront publi\u00e9s sur le site d’Outwit.<\/p>\n

A vous de jouer maintenant… <\/p>\n

Le tutoriel suivant traitera de la r\u00e9cup\u00e9ration d’images.<\/p>\n

Article mis \u00e0 jour le 1ier ao\u00fbt 2008 pour tenir compte de la compatibilit\u00e9 d’Outwit Hub avec Firefox. Mais le tutoriel n’a pas \u00e9t\u00e9 encore retest\u00e9 dans cette version.<\/em><\/p>\n","protected":false},"excerpt":{"rendered":"

Apr\u00e8s avoir d\u00e9crit l’objet du logiciel Outwit Hub, passons \u00e0 un petit tutorial qui vous permettra de l’exp\u00e9rimenter pour une application pratique: la r\u00e9cup\u00e9ration de listes de sites web. Il vous faudra d’abord installer ou disposer de Firefox 3.x de Firefox. Ensuite, vous installerez la b\u00eata d’Outwit Hub. Elle fonctionne sur Windows, MacOS comme sur […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[17,21,33,2,7],"tags":[],"class_list":["post-950","post","type-post","status-publish","format-standard","hentry","category-economie","category-entrepreneuriat","category-innovation","category-internet","category-logiciels"],"views":28538,"_links":{"self":[{"href":"https:\/\/www.oezratty.net\/wordpress\/wp-json\/wp\/v2\/posts\/950","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.oezratty.net\/wordpress\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.oezratty.net\/wordpress\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.oezratty.net\/wordpress\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.oezratty.net\/wordpress\/wp-json\/wp\/v2\/comments?post=950"}],"version-history":[{"count":0,"href":"https:\/\/www.oezratty.net\/wordpress\/wp-json\/wp\/v2\/posts\/950\/revisions"}],"wp:attachment":[{"href":"https:\/\/www.oezratty.net\/wordpress\/wp-json\/wp\/v2\/media?parent=950"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.oezratty.net\/wordpress\/wp-json\/wp\/v2\/categories?post=950"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.oezratty.net\/wordpress\/wp-json\/wp\/v2\/tags?post=950"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}