VisionOS d'Apple fait un saut audacieux dans l'interface informatique

Apr 26, 2023

Steven Lévy

Comme tous ceux qui ont pu tester le nouveau Vision Pro d'Apple après son dévoilement lors de la conférence mondiale des développeurs à Cupertino, en Californie, cette semaine, j'étais impatient de le découvrir. Mais lorsqu'un technicien Apple du centre de test ad hoc a utilisé un appareil optique pour vérifier mes verres correcteurs, j'ai su qu'il pourrait y avoir un problème. Les verres de mes lunettes ont des prismes pour traiter une condition qui, autrement, me donne une double vision. Apple a un ensemble d'objectifs Zeiss pré-moulés pour gérer la plupart d'entre nous qui portaient des lunettes, mais aucun n'a pu résoudre mon problème. (Puisque le Vision Pro est à environ un an du lancement, je ne m'attendais pas à ce qu'ils gèrent toutes les prescriptions dans cette version bêta ; même après des années de fonctionnement, Warby Parker ne peut toujours pas meuler mes lentilles.) En tout cas , mes craintes étaient justifiées : lorsque je suis arrivé dans la salle de démonstration, la configuration du suivi oculaire, une fonction essentielle de l'appareil, ne fonctionnait pas. Je n'ai pu découvrir qu'un sous-ensemble des démos.

Ce que j'ai vu était suffisant pour me convaincre qu'il s'agit de l'appareil AR / VR grand public le plus avancé au monde, et j'ai été ébloui par la fidélité des objets virtuels et des icônes flottant dans la pièce artificiellement rendue dans laquelle j'étais assis, et l'alternative réalités livrées en mode immersion, y compris des événements sportifs qui m'ont mis à l'écart, un dôme de pleine conscience 3D qui m'a enveloppé dans des formes de pétales réconfortantes et une excursion palpitante au sommet d'une montagne qui a égalé le meilleur VR que j'aie jamais échantillonné. (Vous pouvez lire la description de Lauren Goode de la démo complète.)

Malheureusement, mon problème de suivi oculaire signifiait que je n'avais pas pu goûter à ce qui pourrait être la partie la plus importante du Vision Pro : le dernier bond en avant d'Apple dans l'interface informatique. Sans souris, clavier ou écran tactile, le Vision Pro vous permet de naviguer simplement en regardant les images diffusées sur deux écrans micro-OLED haute résolution et en faisant des gestes du doigt comme appuyer pour choisir des éléments de menu, faire défiler, et manipuler des objets artificiels. (Les seules autres commandes sont un bouton appelé couronne numérique et un bouton d'alimentation.) Apple décrit cela comme "l'informatique spatiale", mais vous pouvez également l'appeler l'informatique nue. Ou peut-être que cette appellation doit attendre que le masque facial de style plongée d'environ 1 livre soit remplacé dans une future version pour des lunettes suralimentées. Ceux qui l'ont testé ont déclaré qu'ils pouvaient maîtriser les outils presque instantanément et qu'ils pouvaient facilement appeler des documents, naviguer sur Safari et prendre des photos.

VisionOS, comme on l'appelle, est une étape importante dans un voyage d'un demi-siècle loin de la prison d'origine de l'informatique : la ligne de commande maladroite et inflexible, où rien ne se passait jusqu'à ce que vous invoquiez un flux de caractères alphanumériques avec votre clavier, et tout ce qui arrivé après cela était une solution de contournement au clavier tout aussi contraignante. À partir des années 1960, les chercheurs ont mené un assaut sur cette ligne de commande, à commencer par Doug Engelbart du Stanford Research Institute, dont le système « d'augmentation de l'informatique » en réseau a introduit un périphérique externe appelé la souris pour déplacer le curseur et sélectionner des options via les choix de menu. Plus tard, les scientifiques de Xerox PARC ont adapté certaines de ces idées pour créer ce qui allait être appelé l'interface utilisateur graphique (GUI). L'innovateur le plus célèbre du PARC, Alan Kay, a élaboré les plans d'un ordinateur idéal qu'il a appelé le Dynabook, qui était en quelque sorte le Saint Graal de l'informatique portable et intuitive. Après avoir vu les innovations de PARC lors d'une visite de laboratoire en 1979, les ingénieurs d'Apple ont introduit l'interface graphique sur le marché de masse, d'abord avec l'ordinateur Lisa, puis avec le Macintosh. Plus récemment, Apple a fourni un paradigme avec l'interface multi-touch de l'iPhone ; ces pincements et ces glissements étaient des moyens intuitifs d'accéder aux facultés numériques des téléphones et des montres minuscules mais puissants que nous transportions dans nos poches et à nos poignets.

La mission de chacun de ces changements informatiques était d'abaisser la barrière pour interagir avec le monde numérique puissant, rendant moins difficile de profiter de ce que les ordinateurs avaient à offrir. Cela a eu un coût. En plus d'être intuitifs de par leur conception, les gestes naturels que nous utilisons lorsque nous n'utilisons pas d'ordinateur sont gratuits. Mais il est coûteux de rendre l'ordinateur aussi facile à naviguer et aussi vivant que le monde naturel. Cela a nécessité beaucoup plus de calculs lorsque nous sommes passés de la ligne de commande à des affichages bitmap qui pouvaient représenter des caractères alphanumériques dans différentes polices et nous permettaient de faire glisser des documents qui glissaient dans des dossiers de fichiers. Plus l'ordinateur imitait le monde physique et acceptait les gestes que nous utilisions pour naviguer dans la réalité réelle, plus il fallait travailler et innover.

Vision Pro pousse cela à l'extrême. C'est pourquoi il en coûte 3 500 $, du moins dans cette première itération. (Il y a un argument à faire valoir que le Vision Pro est une version 2023 du Lisa 1983 d'Apple, un ordinateur de plus de 10 000 $ qui a d'abord apporté le bitmapping et l'interface graphique à un appareil grand public, puis s'est éloigné du Macintosh. , qui était 75 % moins cher et aussi beaucoup plus cool.) À l'intérieur de ce masque facial, Apple a entassé l'un de ses microprocesseurs les plus puissants ; un autre morceau de silicium personnalisé spécialement conçu pour l'appareil ; un écran 4K-plus pour chaque œil ; 12 caméras, dont un scanner lidar ; un ensemble de capteurs pour le suivi de la tête et des yeux, la cartographie 3D et la prévisualisation des gestes de la main ; modules audio à double pilote ; textiles exotiques pour le bandeau; et un sceau spécial pour empêcher la lumière de la réalité de s'infiltrer.

Jérémy Blanc

Kate Knibbs

Jérémy Blanc

Personnel filaire

Armé de tout ce matériel, de ces logiciels et de la générosité de plus de 5 000 brevets, le Vision Pro - et, implicitement, ses successeurs - prétend nous guider dans une ascension vers le sommet de l'informatique naturelle. Mais pendant la démo, alors que je n'étais pas immergé dans des représentations 3D réalistes de matchs de baseball, d'un studio d'enregistrement et d'une corde raide entre des montagnes, j'ai senti que cette étape nous emmenait dans un territoire inexploré. Les sauts d'interface précédents visaient tous à nous aider à atteindre l'intérieur du monde numérique pour exploiter sa puissance ; lorsque vous sélectionnez un dossier sur le Macintosh, vous mettez la main à la pâte de l'informatique. Mais le Vision Pro nous plonge dans le monde numérique, séparant nos sens du domaine physique. Même dans le mode où vous n'utilisez aucune application, les caméras et les écrans du Vision Pro travaillent dur pour restituer la pièce dans laquelle vous êtes assis. Cela semble réel, mais cette réalité est aussi éphémère que les icônes d'application flottant dans l'espace. , en attendant que vous en sélectionniez un par votre coup d'œil. Cela soulève la question de savoir si nous sommes allés trop loin pour pousser une interface naturelle : les gens veulent-ils quitter le monde réel pour faire leur travail et d'autres tâches numériques ? La question est ouverte.

Il s'avère que le territoire a été quelque peu cartographié, bien qu'Apple soit allé plus loin que toute autre entreprise en nous y emmenant. Dans un échange d'e-mails avec moi cette semaine, Alan Kay m'a parlé d'une diapositive qu'il a réalisée au début des années 1970 en imaginant plusieurs formulaires pour le Dynabook. Le croquis de 1972 représentait non seulement une version tablette moderne du Dynabook, mais une machine de poche à l'intérieur d'une paire de lunettes et un geste de la main pour contrôler un écran invisible. Et la main porte ce qui ressemble à une Apple Watch !

Kay dit qu'il s'est inspiré des idées des pionniers de l'informatique Ivan Sutherland et Nicholas Negroponte pour le croquis. Il m'a également indiqué un article que Sutherland a écrit en 1962 qui était encore plus sauvage. "L'affichage ultime serait, bien sûr, une pièce dans laquelle l'ordinateur peut contrôler l'existence de la matière", a écrit Sutherland, l'année où Tim Cook a eu 2 ans. "Une chaise affichée dans une telle pièce serait assez bonne pour s'asseoir. Des menottes affichées dans une telle pièce seraient confinantes, et une balle affichée dans une telle pièce serait fatale. Avec une programmation appropriée, un tel affichage pourrait littéralement être le pays des merveilles dans qu'Alice a marché." Bien qu'il se vante d'avoir créé un pays des merveilles, Apple n'a pas fait en sorte que cela se produise. Mais le Vision Pro vous donne presque l'impression qu'il pourrait le faire, affirmant avec audace que l'informatique immersive, euh, spatiale, est la plate-forme du futur.

Mais attendez. La plateforme d'aujourd'hui, l'IA générative, commence par un champ vide. Mais au lieu d'exiger une incantation en langage informatique, vous ouvrez les pouvoirs du monde numérique via le langage naturel de votre choix. Une simple invite peut produire du code informatique, des essais, des œuvres d'art originales, de la musique fraîchement composée et une boîte de Pandore d'inventions et de préjugés. La ligne de commande n'est pas encore morte.

Jérémy Blanc

Kate Knibbs

Jérémy Blanc

Personnel filaire

Les origines du Vision Pro remontent aux efforts des années 1960 et 1970 pour rendre les interfaces plus conviviales et plus puissantes. Dans Insanely Great, mon livre sur le Macintosh, j'ai décrit comment Alan Kay du PARC travaillait sur un projet oubliable appelé Flex, qui était un échec. Mais les leçons apprises ont finalement conduit à Dynabook, qui a inspiré le Macintosh.

L'échec de [Flex] a conduit Kay à examiner ce que signifiait une "interface utilisateur". Le terme fait généralement référence à un ensemble d'invites et de commandes à l'écran qui permettent à une personne de communiquer ses souhaits à l'ordinateur. "La pratique de la conception d'interfaces informatiques existe au moins depuis que les humains ont inventé les outils", a noté plus tard Kay. Pourtant, très peu de réflexion avait été consacrée à la promotion d'interfaces informatiques conviviales et intuitives.

Une interface pourrait-elle être conçue que les gens ordinaires pourraient utiliser ? C'était une question peu conventionnelle à cette époque, quand on supposait rarement que les gens ordinaires auraient un jour des raisons de se rabattre sur un clavier d'ordinateur. Mais Kay réfléchissait déjà à des idées comme des personnes intimement liées à un ordinateur. Il s'est retrouvé à lire Understanding Media de Marshall McLuhan et à réfléchir à son koan séminal, "Le médium est le message". Puis il a eu son éclair d'illumination, "un choc qui se répercute encore maintenant", écrit-il plus de 20 ans plus tard dans The Art of Human-Computer Interface.

"L'ordinateur est un médium ! J'y avais toujours pensé comme un outil, peut-être un véhicule - une conception beaucoup plus faible. Ce que disait McLuhan, c'est que si l'ordinateur personnel est vraiment un nouveau médium, alors son utilisation même changerait en fait. schémas de pensée de toute une civilisation."

Greg écrit : « Au cours de la première saison de Tu ferais mieux d'appeler Saul, ce qui a commencé comme un petit cas de surfacturation dans une maison de retraite s'est transformé en un cas de fraude d'entreprise dans plusieurs États. La quantité écrasante de recherches requises signifiait que le bébé de Saul devait être transféré dans deux Il m'est venu à l'esprit que ce serait un travail parfait pour l'IA. Pourtant, dans tous les articles que j'ai lus, l'accent est limité à l'impact de l'IA sur les créatifs. Le droit semblerait un candidat parfait pour ce type de recherche sur la force brute. "

Greg, où étais-tu ? L'IA a déjà transformé la profession d'avocat. Au lieu de demander à des associés juridiques de parcourir minutieusement les dépositions et les dépôts, les cabinets peuvent profiter de services externes qui collectent les dossiers, les analysent et se concentrent sur les points clés. OpenAI lui-même s'est associé à des cabinets d'avocats pour faciliter le processus. Si Jimmy McGill (il n'était pas encore Saul) avait intenté le recours collectif Sandpaper Crossing en 2023 et non en 2002 - et s'il s'était agi d'un véritable procès et non d'une fiction - l'énorme documentation impliquée aurait presque certainement été traitée par AI aussi, y compris les chatbots de grands modèles de langage. Les médias ont été partout dans cette perturbation.

Jérémy Blanc

Kate Knibbs

Jérémy Blanc

Personnel filaire

Mais une chose que l'IA ne peut pas encore faire est de produire elle-même des documents judiciaires fiables. Le mois dernier, lorsqu'un avocat a sous-traité la rédaction d'un mémoire à ChatGPT, dans une affaire contre les compagnies aériennes Avianca, les avocats adverses ont découvert que le chatbot avait produit des citations et des citations d'affaires qui n'existaient pas. Est-ce que Jimmy aurait essayé ça ? Cela aurait pu faire un grand rebondissement de Better Call Saul. Mais je parie que son partenaire diligent Kim Wexler l'aurait annulé. Peut-être que Kim aurait également signé la lettre de suspension de l'IA.

Vous pouvez soumettre des questions à [email protected]. ÉcrireDEMANDEZ LE LEVÉdans la ligne d'objet.

New York devient orange. Pas d'une bonne manière.

WIRED a rendu compte du Vision Pro lors du lancement d'Apple Park.

Voici tout ce qu'Apple a annoncé à la WWDC. Un MacBook Air 15 pouces semble plutôt cool.

Jérémy Blanc

Kate Knibbs

Jérémy Blanc

Personnel filaire

Une délicieuse plongée en profondeur dans l'une des nombreuses entreprises qui tentent de cloner Twitter.

Un point de vue contraire sur la chape de 7 000 mots du capital-risqueur Marc Andreessen qui déclare l'IA le sauveur du monde.

Prise de tirage bonus: WIRED s'associe à Speck pour donner à deux lecteurs la chance de gagner un Samsung Galaxy S23 avec deux étuis Speck. Entrer ici.