Jun 17, 2023
Le Deep Learning permet de réels
Grâce à l’intelligence artificielle, les scientifiques peuvent désormais générer rapidement des hologrammes 3D couleur photoréalistes, même sur un smartphone. Et selon une nouvelle étude, cette nouvelle technologie pourrait être utilisée dans le monde virtuel.
Grâce à l’intelligence artificielle, les scientifiques peuvent désormais générer rapidement des hologrammes 3D couleur photoréalistes, même sur un smartphone. Et selon une nouvelle étude, cette nouvelle technologie pourrait être utilisée dans les casques de réalité virtuelle (VR) et de réalité augmentée (AR) et dans d’autres applications.
Un hologramme est une image qui ressemble essentiellement à une fenêtre 2D donnant sur une scène 3D. Les pixels de chaque hologramme diffusent des ondes lumineuses qui tombent sur eux, faisant interagir ces ondes les unes avec les autres de manière à générer une illusion de profondeur.
Les écrans vidéo holographiques créent des images 3D que les gens peuvent visualiser sans ressentir de fatigue oculaire, contrairement aux écrans 3D conventionnels qui produisent l'illusion de profondeur à l'aide d'images 2D. Cependant, bien que des sociétés telles que Samsung aient récemment fait des progrès dans le développement de matériel capable d'afficher des vidéos holographiques, la génération des données holographiques que ces appareils peuvent afficher reste un défi majeur.
Chaque hologramme code une quantité extraordinaire de données afin de créer l'illusion de profondeur dans toute une image. En tant que tel, la génération de vidéo holographique a souvent nécessité la puissance de calcul d’un superordinateur.
Afin de rendre la vidéo holographique accessible au grand public, les scientifiques ont essayé un certain nombre de stratégies différentes pour réduire la quantité de calcul nécessaire, par exemple en remplaçant les simulations physiques complexes par de simples tables de recherche. Cependant, cela se fait souvent au détriment de la qualité de l’image.
Aujourd'hui, des chercheurs du MIT ont développé une nouvelle façon de produire des hologrammes presque instantanément : une méthode basée sur l'apprentissage en profondeur si efficace qu'elle peut générer des hologrammes sur un ordinateur portable en un clin d'œil. Ils ont détaillé cette semaine leurs découvertes, financées en partie par Sony, en ligne dans la revue Nature.
"Tout s'est déroulé comme par magie, ce qui a vraiment dépassé toutes nos attentes", déclare Liang Shi, auteur principal de l'étude et informaticien au MIT.
L'utilisation de simulations physiques pour l'holographie générée par ordinateur implique de calculer l'apparence de nombreux morceaux d'un hologramme, puis de les combiner pour obtenir l'hologramme final, note Shi. Utiliser des tables de recherche revient à mémoriser un ensemble de morceaux d'hologrammes fréquemment utilisés, mais cela sacrifie la précision et nécessite toujours l'étape de combinaison, dit-il.
D'une certaine manière, l'holographie générée par ordinateur, c'est un peu comme comprendre comment couper un gâteau, dit Shi. Utiliser des simulations physiques pour calculer l’apparence de chaque point dans l’espace est un processus long qui s’apparente à l’utilisation de huit coupes précises pour produire huit tranches de gâteau. Utiliser des tables de recherche pour l’holographie générée par ordinateur revient à marquer la limite de chaque tranche avant de la couper. Même si cela permet de gagner un peu de temps en éliminant l'étape de calcul de l'endroit où couper, la réalisation des huit coupes prend encore beaucoup de temps.
En revanche, la nouvelle technique utilise l’apprentissage profond pour comprendre comment couper un gâteau en huit tranches en utilisant seulement trois coupes, explique Shi. Le réseau neuronal convolutif – un système qui imite grossièrement la façon dont le cerveau humain traite les données visuelles – apprend des raccourcis pour générer un hologramme complet sans avoir besoin de calculer séparément la façon dont chaque morceau apparaît, « ce qui réduira le total des opérations de plusieurs ordres de grandeur », a-t-il déclaré. dit.
Une visualisation du calcul d'hologramme 3D. (À gauche) Un modèle 3D. (Milieu) Une image couleur qui inclut des données de profondeur. (À droite) Une simulation des modèles de lumière diffusée générant un hologramme 3D. Image : MIT
Les chercheurs ont d’abord construit une base de données personnalisée de 4 000 images générées par ordinateur, chacune comprenant des informations sur la couleur et la profondeur de chaque pixel. Cette base de données comprenait également un hologramme 3D correspondant à chaque image.
Grâce à ces données, le réseau neuronal convolutif a appris à calculer la meilleure façon de générer des hologrammes à partir des images. Il pourrait alors produire de nouveaux hologrammes à partir d’images contenant des informations sur la profondeur, fournies avec des images typiques générées par ordinateur et pouvant être calculées à partir d’une configuration multi-caméras ou à partir de capteurs lidar, tous deux standard sur certains nouveaux iPhones.