Si vous êtes passionnés de photo, vous n’avez pas pu passer à côté du buzz de la semaine concernant la startup Lytro.

Le buzz autour de Lytro s’explique par l’innovation de cette startup qui pourrait révolutionner le marché de la photographie numérique. Il s’agit d’un procédé permettant de prendre des photos sans se soucier de la mise au point et de la profondeur de champs. Il permet de régler ces paramètres par logiciels après avoir pris la photo, par exemple pour choisir où la mise au point doit être faite comme dans l’exemple ci-dessous. On parle d’appareil photo “plénoptique”.

L’annonce du 21 juin 2011 était double :

• Une levée de fonds qui totalise les investissements dans cette société à $50m. Les investisseurs sont K9 Ventures (amorçage), Greylock Partners (seed), NEA (série A) et Andreeseen Horovitz (dernier tour de $37m). A ce jour, l’article le plus détaillé sur Lytro a été publié dans le New York Times.
• Une annonce du lancement du premier appareil photo de Lytro d’ici la fin 2011. Ce qui veut dire que sa conception est déjà bien avancée.

Je ne peux m’empêcher d’écrire un article sur ce sujet passionnant. Ce, pour au moins trois raisons en plus de ma passion pour la photographie numérique :

• Nous sommes face à un cycle classique “comme dans les livres” de l’innovation technologique qui démarre avec une thèse de doctorat réalisée à Stanford et publiée en 2006, une publication scientifique, un prototypage en laboratoire, la création d’une startup, puis  l’industrialisation du procédé. Un procédé “game changer” qui peut potentiellement révolutionner toute une industrie.
• Le procédé est très intéressant d’un point de vue technique. Il faut parcourir les 187 pages de la thèse du créateur de Lytro pour (tenter de) comprendre les enjeux et la praticité de cette invention. Quand on y regarde de plus près, on commence à comprendre comment cela fonctionne, la valeur d’usage du procédé et quelques-unes de ses limitations.
• La société a levé $50m auprès de VCs, en trois tours de financement. On est aux USA, pas en France ! Sky is the limit ! Et la stratégie d’industrialisation de Lytro est intéressante.

Le procédé technique de l’appareil photo plénoptique

On se demande évidemment, “comment ça marche ?”. Après avoir lu la thèse, je pense avoir compris, mais… ne suis pas sûr à 100%. Cela demande des notions d’optique (restes de classes préparatoires…) et de mathématiques (transformées de Fourier et compagnie). Alors, il me faut reprendre par intérim ma casquette d’ingénieur généraliste.

Le principe repose sur le fait que les capteurs photo actuels n’enregistrent que la luminosité qui arrive sur leur plan. La lumière qui arrive sur le capteur comprend bien plus d’informations que cela. Elle est composée de rayons qui arrivent sur le capteur sous plusieurs incidences. Selon l’incidence, le rayon ne provient pas du même endroit et a parcouru un chemin différent qui dépend de la position des différents éléments optiques de l’objectif. Lorsqu’un point qui se situe dans le plan de focale – la zone où l’image va être nette – il émet un cône de lumière qui va entrer dans l’objectif et converger sur un point dans le capteur. Un point (lumineux et visible de l’appareil photo) qui est hors de ce plan va générer un cône de lumière convergeant soit avant soit après le capteur dans l’appareil photo. Au lieu de générer un point sur le capteur, il va générer un cercle flou. D’où les flous d’arrière ou d’avant plan des images prises avec une grande ouverture, surtout sur les réflex.

L’appareil photo plénoptique capte les rayons lumineux qui arrivent sur le capteur (et pour chaque couleur primaire) mais en plus de leur luminosité, l’angle d’incidence des rayons. Ainsi, un point hors du plan de focale va-t-il générer une tâche de lumière dont chaque point présentera une incidence représentant le cône de lumière entrant dans le capteur. La captation des rayons lumineux et de leur incidence sert à enregistrer un champ lumineux dans son ensemble et pas seulement la luminance arrivant sur le plan du capteur.

Le procédé exploite un masque de microlentilles qui est placé devant un capteur photosensible CMOS ou CCD classique. Chaque microlentille couvre un carré de plusieurs pixels. Elle va permettre d’enregistrer sur une zone non pas plusieurs pixels, mais la mesure de la lumière sous plusieurs incidences qui arrive à cet endroit là. Une transformée de Fourier logicielle est ensuite appliquée aux pixels enregistrés pour reconstruire l’image correcte et modifier ses paramètres pour contrôler la profondeur de champ et la netteté. Il faut donc un logiciel spécifique pour traiter l’image. Notons que les appareils photos utilisent déjà des microlentilles, mais une seule par pixel, pour mieux concentrer la lumière dessus et gagner en sensibilité (schéma ci-dessous).

Le logiciel de reconstruction des images utilise un algorithme de “ray tracing” similaire à ceux que l’on emploie dans la génération d’images de synthèses. On part du plan du capteur, on lance (virtuellement) des rayons à l’incidence choisie (qui va déterminer ce qui est net et flou dans la photo) et on obtient une luminosité correspondante (et pour chaque couleur primaire).

Les photos doivent être prises avec une ouverture autour de f/4 pour bénéficier du maximum de rayons lumineux qui arrivent sur le capteur dans plusieurs directions. Avec une trop petite ouverture, les rayons sont trop directionnels (schéma ci-dessous, à droite) et avec une trop grande ouverture (ci-dessous à gauche), les rayons débordent sur les zones adjacentes. Mais l’ouverture optimale dépend de la focale de l’optique et donc du facteur d’agrandissement dans le cas d’un zoom. Ceci pouvant être calculé automatiquement sans intervention de l’utilisateur. Les photos seront théoriquement plus rapides à prendre car il n’y a pas besoin de faire la mise au point. La mise au point sera peut-être remplacée par un calcul d’ouverture automatique qui va optimiser l’éclairage des lentilles.

L’absence de besoin de mise au point est particulièrement intéressant pour les appareils compacts qui sont assez lents dans ce domaine. Tout devrait être automatique. Et en mode “manuel”, l’utilisateur ne touchera visiblement pas à l’ouverture. Il pourra donc modifier les deux autres paramètres clés que sont la sensibilité (de 100 à 3200 ISO en général) et le temps de pose. Avec une ouverture de 4 en moyenne, on sera souvent un peu juste en basse lumière. Il faudra monter à 3200 ISO et avoir un temps de pose inférieur à 1/60s susceptible de générer un flou de bouger (de l’appareil ou des personnes à photographier) qui n’est pas facile à traiter par logiciel. Pourtant, dans sa littérature, la société indique que l’appareil plénoptique est très performant en basse lumière.

Au passage, la thèse indique que le logiciel de traitement de l’image des appareils plénoptiques permettra de mieux corriger les aberrations des optiques, ce phénomène qui créé des franges de couleurs sur le bord des objets dans certaines conditions.

Il semblerait qu’il faille dynamiquement régler la distance entre le capteur et le réseau lenticulaire. Donc un réglage en remplace un autre. S’il est automatique, cela ne posera pas de problème à l’utilisateur.

Est-ce qu’il y aura un impact sur les objectifs ? A priori non car le système sembler fonctionner avec toutes les optiques : télé, grand angle et macro. Par contre, les paramètres précis de chaque optique devront être intégrés au logiciel pour le traitement des photos. Un peu comme le font des logiciels tels que ceux de DxO ou bien Lightroom et Photoshop chez Adobe pour corriger les déformations et aberrations connues des optiques des appareils réflex.

Où est le lézard ?

L’inconvénient principal de cette technologie semble être la faible résolution des images produites. Plusieurs pixels du capteur sont nécessaires pour capter un pixel d’image final. Cette diminution de résolution est envisageable grâce à l’augmentation constante – et parfois absurde – du nombre de pixels des capteurs photo.

Le premier prototype a été réalisé en 2006 avec un appareil photo à grand capteur Kodak de 16 Mpixels, ce qui était le top à ce moment-là. Le test utilisait des microlentilles qui couvraient des carrés de 14 pixels de côté, ce qui donne une résolution de 7 angles différents dans toutes les directions pour la mesure de l’incidence des rayons lumineux. Cela donne 196 photosites par microlentille, ce qui réduisait la résolution de la photo à 87K pixels ce qui est très faible. La thèse évoque le besoin d’avoir des capteurs de 100 mpixels, ce qui donnerait au final 500K pixels, ce qui est assez faible. En passant à 8 pixels de côté pour la taille des lentilles, on aboutirait à une image résultante de 1,5 mpixels ce qui commencerait à être acceptable. Sachant qu’il faut au minimum 1 mpixels pour imprimer une photo au format A5 et 2 mpixels pour le A4.

Mais on est loin d’avoir 100 mpixels sous la main ! On voit là une limite claire du procédé avec l’état de l’art actuel des capteurs photographiques ! Les appareils haut de gamme de studio type Hasselblad grand format ont des capteurs Kodak qui montent à 50mpixels voire 80 mpixels. Canon a aussi annoncé avoir prototypé un capteur de réflex APS-H de 120 mpixels en août 2010, mais sans pouvoir indiquer de date de commercialisation. Quand à avoir 100 mpixels dans un capteur d’appareil compact, beaucoup plus petit, cela donnerait des photosites bien trop petits – aux limites de l’intégration des semi-conducteurs – et surtout très peu sensibles.

Terminons cette description technique sur une analogie avec le procédé des réseaux lenticulaires pour afficher des images 3D sans lunettes, comme chez Alioscopy. C’est en exagérant un peu le même type de procédé mais à l’envers, pour l’affichage au lieu de la capture d’image. Et le réseau lenticulaire des écrans 3D autostéréoscopiques (ne nécessitant pas de lunettes) est constitué de lentilles verticales faisant la hauteur de l’écran, et pas de lentilles circulaires, plus nombreuses.

L’analogie ne s’arrête pas là puisqu’en théorie, la technologie de Lytro devrait théoriquement permettre de reconstruire une vue 3D de la scène puisque chaque rayon peut remonter à sa source en profondeur (Z).

La valeur d’usage et les applications de l’appareil plénoptique

Alors, maintenant que vous avez tout compris sur son fonctionnement (heuh…), revenons-en aux basiques : cette technologie est-elle “Nice to have” ou “must have” et pour qui ?

L’objectif de Lytro est de fabriquer un appareil photo très grand public, plutôt format “compact”.

Et l’on est face à quelques contradictions de ce point de vue là.

• La première est que les notions de profondeurs de champs sont généralement ignorées par les photographes amateurs équipées de compact. Pourquoi donc ? Parce que la profondeur de champs est très grande dans les photos prises sur mobiles et compacts (cf exemple ci-dessous à gauche où tout est net dans la photo). Elle n’est contrôlable qu’avec les appareils réflex et les optiques à grande ouverture (cf exemple ci-dessous à droite, avec réflex plein format). C’est une question de physique et de taille de capteurs et d’optiques. Plus le capteur et l’optique sont petits, plus la profondeur de champs est grande. Ce qui donne des photos où tout est net de l’avant à l’arrière-plan. Avec les réflex et une grande ouverture, on peut réduire la profondeur de champs, ce qui présente deux avantages : l’un qui est artistique et qui valorise ce que l’on photographie en rendant flou l’arrière-plan, et l’autre, pratique, car avec une grande ouverture on peut faire une “bonne” photo sans flash dans des conditions de basse lumière.

• La seconde est que les photos devront être enregistrées dans le format RAW du capteur (et pas le JPEG) puisque le post-traitement de l’image requiert d’avoir une bonne précision dans l’éclairage de chaque pixel. En RAW, on stocke la luminosité de chaque pixel sur 12 à 14 bits selon les appareils alors qu’en JPEG, elle est de 8 bits et que l’image subit un traitement de compression spatiale. Cela va alourdir les traitements, nécessiter de la puissance machine sur ordinateur personnel et de l’espace de stockage. Alors que les utilisateurs d’appareils photos compacts sont habitués à récupérer directement leurs photos JPEG en sortie d’appareils. Quand ce n’est pas pour les publier directement sur Internet lorsqu’elles sont prises avec leur smartphone !

J’ai donc l’impression que le procédé de Lytro fonctionne en fait mieux avec un réflex voire avec des appareils grand format de studio (et qui valent la peau des fesses) qu’avec des compacts. C’est d’ailleurs la seule manière à moyen terme d’employer des capteurs avec la très haute résolution requise par le procédé.

Je ne serais pas étonné que l’appareil qui sortira en fin d’année fasse aux alentours de 20-24 mpixels avec un capteur assez grand que l’on trouve dans les appareils hybrides et plutôt carré vus les exemples fournis sur leur site (à moins que ce ne soit un leurre). Et avec des microlentilles de 6 à 8 pixels de côté, permettant d’impressionner la galerie avec le procédé mais sans pouvoir le gérer avec une grande finesse pour le contrôle de la profondeur de champs. Il y aura en tout cas sans doutes des compromis que nous découvrirons à la sortie de l’appareil.

Signalons au passage que ce procédé ne peut pas fonctionner en mode vidéo. Pourquoi donc ? Parce que les appareils photos qui enregistrent de la vidéo font au mieux du 1080p (1920×1080 pixels), soit 2 mpixels, ce qui est bien insuffisant pour la mise en œuvre du procédé. La super-haute définition du futur de la NHK dite 16K nécessite des capteurs de 33mpixels (avec dématriçage de Bayer). Et elle génère des débits numériques monstrueux impossibles de traiter dans un appareil photo avec l’état de l’art actuel des semi-conducteurs. Mais bon, le contrôle de la profondeur de champs empêche moins de vidéastes que de photographes de dormir.

L’approche industrielle de Lytro

Bonne nouvelle : il ne s’agit pas de l’invention d’un nouveau type de capteur, donc les processus existants peuvent être conservés. A ceci près nous avons vu que le procédé nécessite tout de même des capteurs de très très haute résolution.

Il faut “juste” insérer un filtre devant le capteur, l’histoire ne disant pas s’il faut conserver l’habituel filtre antialiasing qui équipe les appareils photos, sauf exceptions comme dans le LEICA M9. Il semble cependant qu’il faudra pouvoir contrôler mécaniquement et avec précision la position du filtre lenticulaire.

Of course, l’ensemble va nécessiter du logiciel pour récupérer les images et définir mise au point et profondeur de champs !

Pour diffuser la technologie, la société avait en gros deux options devant elle :

• Créer une technologie vendue sous licence aux fabricants d’appareils photos, et aussi la partie logicielle sous licence aux Adobe, Google et autres éditeurs de logiciels.
• Concevoir ses propres appareils photos et aussi les logiciels qui vont avec. Choix cornélien.

Le premier choix est pertinent si la technologie est amenée à se généraliser et devient un “must have”. Mais avant qu’elle le soit, il faut qu’elle soit éprouvée. Le second choix, qui semble a été retenu par la société, consistera à commercialiser un appareil photo compact utilisant le procédé. Et probablement avec une optique zoom non interchangeable. L’appareil sera fabriqué en sous-traitance à Taïwan. Les limites théoriques du procédé cantonneront probablement l’usage de l’appareil à quelques domaines au début de sa carrière. Si l’usage peut être généralisé, les grands de la photo voudront sans doutes s’approprier le procédé pour l’intégrer à leurs appareils. Surtout dans la mesure où cela ne semble pas remettre sérieusement en cause les processus habituels de fabrication d’appareils photos.

Cette aventure intéressante ne semble possible qu’aux USA tellement les moyens nécessaires (et la prise de risque) sont importants ! Ce, d’autant plus que l’industrie américaine est quasiment inexistante dans la photo numérique, dominée par les japonais. Sauf quelques rares exceptions comme avec les capteurs de Kodak.

Imaginez un chercheur de SupOptique qui pondrait la thèse de Ren Ng et qui chercherait à révolutionner la photographie numérique. Il obtiendrait 30K€ d’Oséo pour son prototype, un prêt d’honneur de 60K€ chez Scientipôle Initiative ou dans le Réseau Entreprendre (avec deux associés), puis une avance remboursable de 200K€ et/ou une subvention de 450K€ gagnée au concours de l’entreprise innovante toutes deux conditionnées par des fonds propres équivalents. Il irait voir des business angels qui mettraient 300K€ pour voir, et ensuite des VCs qui iraient jusqu’à 5m€ dans un premier temps. Cela ne serait pas impossible d’obtenir les moyens de Lytro, mais cela serait bien plus difficile qu’aux USA.

L’équipe de Lytro

Terminons avec quelques mots sur l’équipe de cette startup. Son fondateur est Ren Hg, 31 ans, qui est l’auteur de la thèse de Stanford de 2006 décrivant le procédé. Cela veut dire que le gars cravache depuis cinq ans pour avancer et prototyper son appareil photo révolutionnaire.

La société compte déjà plus de 40 personnes. Son CTO est Kurt Akeley, un ancien de Silicon Graphics et de Microsoft Research. L’équipe dirigeante est mixte avec 4 femmes sur 9 personnes.

Petits détails, la société a deux prix Nobel dans son Advisory Board et son Board comprend un cofondateur de TiVO.

Le siège de la société ? Mountain View, à deux pas de Google, Palo Alto et sa pompe à financement de Sandhill Road, Stanford et tout le toutim !