Le travail de réalité augmentée et virtuelle d'Apple
Apple expérimente les technologies de réalité virtuelle et de réalité augmentée depuis près de 20 ans sur la base de dépôts de brevets, mais avec la réalité virtuelle et augmentée qui explose en popularité avec le lancement d'ARKit, le dabbling d'Apple devient de plus en plus sérieux et devrait conduire à un AR/ Produit VR en 2023.
Il existe une unité de recherche au sein d'Apple avec des centaines d'employés travaillant sur AR et VR et explorant les façons dont les technologies émergentes pourraient être utilisées dans les futurs produits Apple. L'embauche d'AR/VR s'est accélérée au cours des dernières années et Apple a acquis plusieurs sociétés AR/VR alors qu'elle poursuit son travail dans l'espace AR/VR.
Apple développe au moins deux projets AR qui incluent un casque de réalité augmentée qui sortira en 2023, suivi d'une paire de lunettes de réalité augmentée plus élégante à une date ultérieure. Les deux projets ont semé la confusion sur ce qui va arriver quand, mais il est maintenant clair qu'un casque AR/VR (ou réalité mixte) sera lancé, suivi de lunettes de réalité augmentée.
Les rumeurs ont initialement suggéré que le casque AR/VR d'Apple sortirait à un moment donné en 2022, peut-être à la WWDC en juin, mais il y a toujours des problèmes de développement qu'Apple doit surmonter. À ce stade, il semble que nous ne verrons pas le casque AR / VR avant 2023. Des sources fiables comme l'analyste Apple Ming-Chi Kuo et Mark Gurman de Bloomberg ont indiqué que le casque verra probablement une date de lancement 2023, avec les lunettes à suivre en 2024 ou 2025.
Le casque AR/VR qu'Apple a en préparation sera un appareil autonome doté de puissants processeurs de la série A qui mettront les performances à égalité avec les Mac d'Apple. Il aura deux puces à l'intérieur qui lui permettront d'effectuer des tâches complexes et de gérer les capacités de réalité virtuelle, en plus il pourra fonctionner indépendamment d'un iPhone ou d'un Mac.
Du point de vue de la conception, le casque ressemblera à d'autres casques sur le marché comme le Facebook Oculus Quest, mais il présentera un design plus élégant et une construction légère pour assurer le confort. Deux écrans micro OLED haute résolution avec jusqu'à 3 000 pixels par pouce offriront une expérience visuelle immersive, et il peut également y avoir un écran supplémentaire sur le côté pour la vision périphérique.
Apple intègre plus d'une douzaine de caméras dans le casque pour suivre les mouvements et les gestes des mains, ce qui constituera une méthode de contrôle avec le suivi des yeux. Apple peut également inclure des périphériques d'entrée usés, dont l'un peut ressembler à un dé à coudre porté au doigt.
Plusieurs modules de détection 3D seront inclus pour détecter les gestes de la main et les objets qui se trouvent autour du porteur, et ils prendront en charge le contrôle vocal, la détection de peau, la détection spatiale et la détection d'expression. En plus d'une expérience vidéo immersive, le casque utilisera également l'audio spatial pour un son immersif.
Apple est en train de concevoir un App Store pour le casque, et le contenu se concentrera sur les jeux, la vidéo en streaming et la visioconférence. Il exécutera "xrOS", un nouveau système d'exploitation conçu spécifiquement pour le casque.
Comme le casque AR/VR est une toute nouvelle catégorie de produits adoptant une technologie de pointe, il ne sera pas bon marché. Les rumeurs suggèrent qu'il pourrait coûter plus de 2 000 $.
Le casque se concentrera sur la réalité virtuelle avec des capacités AR limitées, mais Apple a des ambitions plus profondes en matière de réalité augmentée. Après le casque AR/VR, Apple devrait sortir un ensemble de lunettes de réalité augmentée qui ressembleront à des lunettes standard mais avec des capacités AR.
En mai, Apple a présenté son casque AR/VR aux membres du conseil d'administration d'Apple, suggérant que l'appareil est à un stade avancé de développement, ce qui signifie qu'il se rapproche du lancement. Il devrait toujours sortir en 2023.
Casque AR/VR
Le premier casque d'Apple prendra en charge les capacités AR et VR, une technologie généralement appelée "réalité mixte". La réalité augmentée (AR) et la réalité virtuelle (VR) sont des technologies similaires, mais leurs applications potentielles varient considérablement.
La réalité virtuelle fait référence à une expérience immersive complète dans un monde virtuel, tandis que la réalité augmentée fait référence à une vision modifiée du monde réel. Avec une expérience VR, le monde réel est largement exclu pour se concentrer sur une expérience entièrement virtuelle, mais la réalité augmentée superpose des éléments virtuels sur votre vision du monde réel.
Google Glass, un produit Google qui est maintenant en grande partie disparu, est un exemple d'appareil de réalité augmentée porté sur la tête, tandis que l'Oculus et la PlayStation VR sont des exemples d'appareils de réalité virtuelle portés sur la tête. Apple travaille sur ces deux technologies, mais le produit initial sera plus similaire à l'Oculus qu'aux Google Glass.
La réalité virtuelle est particulièrement axée sur la consommation de contenu immersif, car elle donne au porteur l'impression de vivre réellement ce qui se passe dans le monde simulé grâce à un retour visuel, tactile et audio. La réalité virtuelle est actuellement liée au jeu, mais elle a également le potentiel de recréer des expériences du monde réel à des fins éducatives ou de formation.
La réalité augmentée ne repose pas sur un contenu immersif et bien que moins excitante car elle augmente la réalité au lieu de la remplacer, elle a un plus large éventail d'applications potentielles et c'est la technologie qui semble finalement intéresser le plus Apple. Le casque d'Apple prendra en charge les deux AR et VR, ce qu'on appelle la réalité mixte, et c'est quelque chose que nous avons vu dans des produits comme HoloLens de Microsoft.
La réalité mixte fusionne le contenu du monde réel et le contenu virtuel pour produire de nouveaux environnements où les objets physiques et numériques peuvent être visualisés et interagir ensemble. En pratique, nous ne savons pas encore exactement quel type d'expérience offrira le casque d'Apple, mais nous pouvons compter sur des jeux immersifs, des expériences FaceTime et de chat plus interactives et de nouveaux outils d'apprentissage.
Concevoir
Le casque AR/VR d'Apple ressemblera à certains autres casques VR sur le marché, avec un design qui n'est pas trop éloigné du casque de réalité virtuelle Facebook Oculus Quest. Plusieurs détails de conception ont été révélés dans des rumeurs, et The Information a même vu un prototype, nous avons donc une bonne idée de ce à quoi s'attendre.
Le casque utilisera des tissus et des matériaux légers pour assurer un ajustement confortable. Il a été décrit comme ayant une "visière élégante et incurvée attachée au visage par un matériau en maille et des bandeaux interchangeables". Les rendus ci-dessous du designer Ian Zelbo sont basés sur ces descriptions de casque.
Une bande à l'arrière faite d'un matériau similaire à une bande Apple Watch maintiendra le casque sur la tête du porteur, et une maille douce rendra l'ajustement confortable contre l'avant du visage. Les bandeaux sont interchangeables et sont livrés avec des options de réglage de la taille.
Un bandeau serait doté d'une technologie audio spatiale comme les AirPods Pro pour une expérience de son surround, tandis qu'un autre offre une autonomie supplémentaire lors de vos déplacements. Le casque serait également capable de répondre aux mouvements des yeux et aux gestes de la main du porteur, tandis qu'un prototype du casque comportait également un cadran physique sur le côté de la visière.
Affichage
Les rumeurs suggèrent que le casque AR/VR aura deux à trois écrans. Il y aura deux écrans micro OLED 4K haute résolution avec jusqu'à 3 000 pixels par pouce. Sony devrait fournir les modules d'affichage qu'Apple utilisera, bien qu'Apple puisse également utiliser certains écrans OLED de Samsung.
Les écrans micro OLED sont construits directement sur des plaquettes de puce plutôt que sur un substrat en verre, ce qui se traduit par des écrans plus fins, plus petits et plus économes en énergie. Ils permettent des tailles de pixels de l'ordre de quatre à 20 micromètres, contre 40 à 300 micromètres avec les panneaux OLED standard, et ils ont un temps de réponse plus rapide en microsecondes, ce qui les rend idéaux pour les applications de réalité augmentée (AR) et de réalité virtuelle (VR). .
Le casque AR/VR comprendra également un écran externe externe qui sera un écran OLED standard fourni par LG Display. L'écran OLED standard sera un simple affichage extérieur qui ne nécessite pas la technologie micro-OLED de qualité supérieure utilisée pour l'affichage du dîner.
Apple utilise des objectifs "Pancake" qui permettront un design fin et léger. Les lentilles Pancake sont plus chères que la technologie de lentille Fresnel utilisée pour les autres casques VR, mais donneront un appareil beaucoup plus fin.
En raison de l'ajustement serré du casque sur le visage, les utilisateurs ne pourront pas porter de lunettes, il peut donc y avoir une option pour insérer des lentilles de prescription sur les écrans.
Appareils photo
Le casque comportera plus d'une douzaine de caméras optiques pour suivre les mouvements des mains, cartographier l'environnement et projeter des expériences visuelles. On dit que l'une des caractéristiques principales du casque est des avatars réalistes qui ont des traits faciaux précis capturés par les caméras incluses.
Huit modules de caméra seraient utilisés pour des expériences de réalité augmentée transparentes pour l'utilisateur, tandis que six autres modules seraient utilisés pour la "biométrie innovante". Une caméra sera également disponible pour la détection environnementale.
Il y aura un ensemble de caméras à détection oculaire qui permettront prétendument aux utilisateurs de "lire de petits caractères" et de voir d'autres personnes debout devant et derrière des objets virtuels. Le casque pourra cartographier avec précision les surfaces, les bords et les dimensions des pièces.
Méthodes de contrôle
Apple explore plusieurs méthodes de saisie pour le casque AR/VR, y compris les gestes de la main, le suivi des yeux et la saisie à partir d'un appareil portable connecté au casque.
Un système de suivi oculaire avancé est censé fournir une expérience visuelle intuitive qui interagit de manière transparente avec l'environnement extérieur, en plus de faciliter les contrôles avec les mouvements oculaires. La reconnaissance de l'iris sera incluse dans le cadre du système de suivi oculaire, qui pourrait être une méthode d'authentification.
Balayage de l'iris
Pour la confidentialité et la sécurité, le casque AR/VR intégrera un scanner d'iris capable de lire le motif de l'œil de l'utilisateur, permettant d'utiliser un scan de l'iris à la place d'un mot de passe et pour l'authentification du paiement.
Le balayage de l'iris sur le casque AR/VR s'apparentera à Face ID et Touch ID sur iPhone, iPad et Mac. Cela pourrait permettre à deux personnes d'utiliser le même casque, et c'est une fonctionnalité qui n'est pas disponible sur les casques concurrents comme le nouveau Quest Pro de Meta.
Processeurs
Deux processeurs M2 de niveau Mac seront inclus dans le casque AR/VR pour une puissance de calcul sans précédent dans un appareil portable, Apple utilisant les mêmes puces qui ont fait leurs débuts dans le MacBook Air. Apple adopterait un adaptateur secteur de 96 W pour charger le casque en raison des puces puissantes.
Il y aura un processeur principal haut de gamme ainsi qu'un processeur bas de gamme pour gérer les aspects liés aux capteurs de l'appareil. L'une de ces puces pourrait être une puce de 4 nanomètres, qui est la dernière technologie TSMC, et l'autre est une puce de 5 nanomètres. Le casque ne dépendra pas d'un iPhone ou d'un Mac pour la puissance de traitement, et il disposera d'une alimentation et d'un stockage indépendants.
Apple a terminé les travaux sur les SoC pour le casque AR/VR et optimisera la transmission de données sans fil, la compression et la décompression vidéo et l'efficacité énergétique pour une durée de vie maximale de la batterie, bien qu'ils n'aient pas de moteur neuronal comme certaines des autres puces d'Apple.