Fem spørsmål om Microsofts Project HoloLens

Onsdag morgen viste Microsoft et prosjekt de har jobbet i i syv år, en utvidet reality-headset som heter Project HoloLens.

Visjonen er ambisiøs: de vil fundamentalt forandre måten folk interagerer med datamaskiner ved å bygge et par briller som kan blande det virtuelle og virkelige innholdet sammen i brukerens fysiske rom. Dette er som virtuell virkelighetsteknologi Hvorfor Virtual Reality-teknologi vil blåse deg i 5 år Hvorfor Virtual Reality-teknologi vil blåse deg i 5 år Fremtiden for virtuell virkelighet inkluderer hodet-, øye- og uttrykssporing, simulert berøring og mye mer. Disse fantastiske teknologiene vil være tilgjengelige for deg på 5 år eller mindre. Les mer, men fundamentalt kraftigere. Videre ønsker de å gjøre all behandling lokalt på brillene - ingen datamaskin, ingen telefon, ingen kabler. De lanserer enda en spesiell versjon av Windows bare for den nye maskinvaren. Dette er neste trinn i teknologisk utvikling for alle de AR-spillene. Augmented Reality Apps: Nyttig, eller bare Hype? MakeUseOf Tests Augmented Reality Apps: Nyttig, eller bare Hype? MakeUseOf-tester I 2011 forutslo analytikere fremveksten av Augmented Reality mobile apps. Den spirende teknologien vil revolusjonere måten vi samhandler med våre mobile enheter. Flash fremover to år og dusinvis av AR-programmer fyller alle ... Les mer du installerte på telefonen din en gang og har ikke rørt siden.

Deres tidsramme er enda mer ambisiøs enn deres mål: de ønsker å sende utviklerpakker i vår, og forbrukerproduktet “under Windows 10 tidsramme”. Her er banen.

Alt dette høres bra ut, men jeg innrømmer en ganske høy grad av skepsis.

Teknologiene Microsoft bruker har alvorlige, grunnleggende utfordringer, og så langt har Microsoft vært veldig stramt om hvordan (eller hvis) de har løst dem. Hvis de ikke har løst dem, er deres mål om frakt innen et år veldig knyttet til. Det siste VR og AR trenger er et stort selskap som leverer et annet halvbakt produkt som Kinect. Husk prosjektet Natal-demoen fra 2009?

Uten videre ado er her de fem viktigste tingene jeg vil vite om HoloLens.

Er dette en lysfelt skjerm?

For å forstå denne må vi se litt dypere inn i 3D, og ​​hvordan det fungerer. For å få følelsen av en ekte, håndgripelig 3D-verden, integrerer hjernene våre mange forskjellige typer informasjon. Vi får dybdeord om verden på tre primære måter:

• Stereodybde - ulikheten mellom hva begge øynene våre ser. Faking dette er hvordan 3D-filmer fungerer
• Bevegelsesparallax - subtile bevegelser av hode og torso gir oss ytterligere dybdeanordninger for gjenstander som er lengre unna
• Optisk fokus - Når vi fokuserer på noe, deformeres linsene i våre øyne fysisk til det kommer i fokus. Nærfeltobjekter krever mer objektivforvrengning, som gir dybdeinformasjon om hva vi ser på

Optisk fokus er enkelt å sjekke ut for deg selv: Lukk ett øye og hold tommelen opp foran en vegg over hele rommet. Deretter skift fokus fra miniatyrbildet til overflaten bak den. Når du ser forbi tommelen, vil tommelen skifte ut av fokus fordi linsen i øyet ditt nå er mindre deformert og ikke kan samle inn lyset som kommer fra det.

VR-hodetelefoner som Oculus Rift gir de to første signalene svært nøyaktig, men ikke det siste, som virker overraskende godt: våre øyne er standard for å slappe av helt, siden optikken fokuserer bildene som gjennom lyset kommer fra uendelig langt unna. Mangelen på det optiske fokuset er urealistisk, men det er vanligvis ikke distraherende. Du kan fortsatt ha veldig kule spillopplevelser. 5 Oculus Rift Gaming-opplevelser som vil blåse deg unna. 5 Oculus Rift-spillopplevelser som vil blåse deg bort Nå som den andre generasjonen av Oculus Rift-utviklingspakke er ute og i hendene på utviklere over hele verden, la oss se på noen av de beste tingene som har rammet Riften så langt. Les mer uten det.

I forstørret virkelighet er problemet annerledes, fordi du må blande lys fra ekte og virtuelle objekter. Lyset fra den virkelige verden vil naturligvis være fokusert på en rekke dybder. Det virtuelle innholdet vil imidlertid alle være fokusert på en fast, kunstig avstand diktert av optikken - sannsynligvis på uendelig. Virtuelle objekter ser ikke ut som om de virkelig er en del av scenen. De vil være ute av fokus når du ser på ekte ting på samme dybde og omvendt. Det vil ikke være mulig å flytte øyet flytende over hele scenen mens du holder det i fokus, som du normalt gjør. De motstridende dybdeanordninger vil være forvirrende i beste fall og sykdom i verste fall.

For å fikse dette, trenger du noe som kalles en lysfeltdisplay. Lysfelt skjermer er skjermer som bruker en rekke små linser til å vise lys fokusert på mange dyper samtidig. Dette lar brukeren fokusere naturlig på skjermen, og (for forstørret virkelighet) løser problemet beskrevet ovenfor.

Det er imidlertid et problem: lysfeltet viser i hovedsak en enkelt 2D-skjerm på et tredimensjonalt lysfelt, hvilket betyr at hver “dybdepiksel” som brukeren oppfatter (og eksisterer ved et bestemt fokusdyp i scenen), består egentlig av lys fra mange piksler på det opprinnelige displayet. Den finere kornet dybden du vil skildre, jo mer oppløsning må du gi opp.

Vanligvis har lysfeltene omtrent en åtte gangers Oppløsning reduseres for å gi tilstrekkelig dybde presisjon. De beste mikrodisplayene som er tilgjengelige har en oppløsning på ca 1080p. Forutsatt at en high-end microdisplay kjører hvert øye, ville det gjøre at den faktiske oppløsningen av Microsofts hodesett bare er ca 500 x 500 piksler per øye, mindre enn Oculus Rift DK1. Hvis skjermen har et høyt synsfelt, vil virtuelle objekter være ubegripelige blokker av piksler. Hvis det ikke gjør det, vil nedsenking lider proporsjonalt. Vi kommer aldri til å se gjennom linsen (bare datamaskinreparasjoner av hva brukeren ser), så vi har ingen anelse om hva brukeropplevelsen egentlig er som.

Det er mulig at Microsoft har kommet opp med en ny løsning på dette problemet, for å tillate bruk av en lysfeltvisning uten oppløsningshastighet. Imidlertid har Microsoft vært ekstremt cagey om deres skjermteknologi, noe som får meg til å mistenke at de ikke har det. Her er den beste forklaringen vi har hittil (fra WIRED demo).

For å lage Project HoloLens 'bilder, hopper lyspartikler rundt millioner av ganger i den såkalte lysmotoren til enheten. Deretter kommer fotene inn i to briller, hvor de ricochetter mellom lag med blått, grønt og rødt glass før de kommer bak i øyet.

Denne typen beskrivelse av teknologien kan bety nesten alt (selv om maskinvaren i rettferdighet til Microsoft imponerte WIRED, selv om artikkelen var lett på detaljer).

Vi vet ikke mer sikkert før Microsoft begynner å frigjøre tekniske spesifikasjoner, sannsynligvis måneder fra nå av. På et ytterligere notat av nitplukking, er det virkelig nødvendig å drukne prosjektet i denne mye markedsføringstale? Den dedikerte prosessoren de bruker til sporing av hodet kalles a “holografisk prosessor” og bildene kalles “hologrammer,” uten spesiell grunn. Produktet er i utgangspunktet kult nok til at det egentlig ikke er nødvendig å gjelde det slik.

Er sporing god nok?

Projekt HoloLens-headsettet har en høy FOV-dybdekamera montert på den (som Kinect), som den bruker til å finne ut hvor hodetelefonen er i rommet (ved å forsøke å justere dybdebildet som det ser ut med sin verdensmodell, sammensatt fra tidligere dybdebilder). Her er deres live demo av hodesettet i aksjon.

Sporingen er imponerende med tanke på at den ikke bruker noen markører eller andre jukser, men selv i den videoen (under sterkt kontrollerte forhold) kan du se en viss mengde wobble: Sporingen er ikke helt stabil. Det kan forventes: Denne typen innvendig sporing er ekstremt vanskelig.

Den store leksjonen fra de forskjellige Oculus Rift-prototypene Se oss Prøv Oculus Rift Crescent Bay På CES 2015 Se oss Prøv Oculus Rift Crescent Bay ved CES 2015 Oculus Rift Crescent Bay er en helt ny prototype som viser noen spennende forbedringer i virtuell virkelighetsteknologi. Vi prøver det ut på CES 2015. Les mer er at nøyaktigheten av sporing betyr mye. Jittery sporing er bare irriterende når det er noen objekter i en stort sett stabil virkelighet, men i scener som Mars-demoen viste de i konseptvideoen deres, hvor nesten alt du ser er virtuelt, kan upresent sporing føre til mangel på “tilstedeværelse” i den virtuelle scenen, eller til og med simulatorsyke. Kan Microsoft få sporing opp til standarden sett av Oculus (under millimeter sporing av nøyaktighet og mindre enn 20 ms total ventetid) etter leveringsdato i slutten av dette året?

Her er Michael Abrash, en VR-forsker som har jobbet for både Valve og Oculus, snakker om problemet

[Fordi det alltid er en forsinkelse i å generere virtuelle bilder, [...] er det svært vanskelig å få virtuelle og virkelige bilder å registrere seg nær nok slik at øyet ikke legger merke til. For eksempel, anta at du har en ekte Coke-kan som du vil bli til en AR Pepsi-kan ved å tegne en Pepsi-logo over Coke-logoen. Hvis det tar dusinvis av millisekunder å redrake Pepsi-logoen, vil hver gang du roterer hodet, Pepsi-logoen vises for å skifte noen grader i forhold til boksen, og en del av Coke-logoen vil bli synlig. så vil Pepsi-logoen komme tilbake til riktig sted når du slutter å flytte. Dette er tydeligvis ikke bra nok til hard AR

Kan skjermen tegnes svart?

Et annet problem ved siden av brennvidde og sporing har å gjøre med å tegne mørke farger. Å legge til mer lys på en scene er relativt enkelt, ved hjelp av stråleplittere. Å ta lys ut er mye vanskeligere. Hvordan selekterer du selektivt deler av den virkelige verden? Å sette opp en selektivt gjennomsiktig LCD-skjerm vil ikke kutte den, siden det ikke alltid kan være riktig fokus for å blokkere det du ser på. De optiske verktøyene for å løse dette problemet, med mindre Microsoft har oppfunnet dem i hemmelighet, bare ikke eksisterer.

Dette betyr noe, for for mange applikasjoner som Microsoft viser seg (som å se Netflix på veggen din), trenger headsettet virkelig evnen til å fjerne lyset som kommer fra veggen, ellers vil filmen alltid ha et synlig stykkmønster som legges over med det: det vil være umulig for bilder å blokkere ekte gjenstander i scenen, noe som gjør bruken av hodesettet sterkt avhengig av omgivelseslysforholdene. Tilbake til Michael Abrash:

Har ikke noe av den typen som har oppstått i AR-bransjen eller litteraturen, og med mindre og før det gjør, kan hard AR, i SF-forstand at vi alle kjenner og elsker, ikke skje, unntatt i nær mørke.

Det betyr ikke at AR er av bordet, bare det for en stund, men det vil bli mykt AR, basert på additiv blanding. [...] Igjen, tenk gjennomskinnelig som “Ghostbusters.” Høyintensitets virtuelle bilder uten mørke områder vil også fungere, spesielt ved hjelp av regional eller global mørkhet - de vil bare ikke se ut som en del av den virkelige verden.

Hva om okklusjon?

“okklusjon” er begrepet for hva som skjer når ett objekt passerer foran en annen og stopper deg fra å se hva som står bak den. For at virtuell natur skal føles som en håndgripelig del av verden, er det viktig at virkelige objekter trekker seg til virtuelle objekter: Hvis du holder hånden opp foran et virtuelt bilde, bør du ikke kunne se det gjennom din hånd. På grunn av bruk av et dybdekamera på hodesettet, er dette faktisk mulig. Men se på live demoen igjen:

I stor grad styrer de nøye kameravinklene for å unngå at ekte objekter går foran virtuelle. Men når demonstranten samhandler med Windows-menyen, kan du se at hånden hennes ikke gjør det i det hele tatt. Hvis dette er utenfor rekkevidden til teknologien, er det et veldig dårlig tegn på levedyktigheten til forbrukerproduktet.

Og snakker om den brukergrensesnittet

Er dette virkelig den siste brukergrensesnittet?

UI-en som vises av Microsoft i demo-videoene ser ut til å fungere ved å bruke en kombinasjon av blikk og håndsporing for å styre en markør i den virtuelle scenen, mens du bruker talekontroller for å velge mellom forskjellige alternativer. Dette har to store ulemper: Det gjør at du ser ut som den lille gutten i Shining som snakker med fingeren, men enda viktigere, representerer det også et fundamentalt feilaktig designparadigme.

Historisk har de beste brukergrensesnittene vært de som bringer fysiske intuksjoner om verden inn i den virtuelle verden. Musen førte til å klikke, dra og vinduer. Berør grensesnittet brakt til å bla og klemme for å zoome. Begge disse var avgjørende for å gjøre datamaskiner mer tilgjengelige og nyttige for den generelle befolkningen - fordi de var fundamentalt mer intuitive enn det som kom før.

VR og AR gir deg mye mer frihet som designer: du kan plassere UI-elementer hvor som helst på et 3D-rom, og få brukerne til å kommunisere med dem naturlig, som om de var fysiske gjenstander. Et stort antall åpenbare metaforer antyder seg selv. Trykk på et virtuelt brukergrensesnitt for å velge det. Klem til den hente den og flytte den. Skyv den ut av veien for å lagre den midlertidig. Knus den for å slette den. Du kan tenke deg å bygge et brukergrensesnitt som er så helt intuitivt at det ikke krever noen forklaring. Noe som bestemoren din øyeblikkelig kan plukke opp, fordi den er bygget på grunnlag av grunnleggende fysiske intuisjoner som alle bygger opp over livet for å interagere med verden. Ta et øyeblikk, og lytt til denne smarte personen beskrive hvilke nedsenkende grensesnitt som kan være.

Med andre ord synes det å være åpenbart (for meg) at et nedsenkende brukergrensesnitt burde være i det minste så intuitiv som berøringsgrensesnittene som foregår av iPhone for 2D multitouch-skjermer. Å bygge et grensesnitt rundt å manipulere en VR “mus” er et skritt bakover, og utsetter enten dype teknologiske mangler i sin håndsporingsteknologi eller en grunnleggende misforståelse av det som er interessant om dette nye mediumet. Uansett er det et veldig dårlig tegn på at dette produktet er mer enn en kolossal Kinect-skala flop.

Forhåpentligvis har Microsoft tid til å få tilbakemelding på dette og gjøre en bedre jobb. Som et eksempel er et grensesnitt designet av en hobbyist for Oculus Rift DK2 og Leap Motion. En immersive brukergrensesnitt designet av et stort selskap bør være minst så bra.

Et tegn på ting å komme

I det hele tatt er jeg ekstremt skeptisk til HoloLens-prosjektet som helhet. Jeg er veldig glad for at et selskap med Microsofts ressurser undersøker dette problemet, men jeg er opptatt av at de prøver å haste ut et produkt uten å løse noen kritiske underliggende tekniske problemer eller spikre ned et godt UI-paradigme. HoloLens er et tegn på ting som kommer, men det betyr ikke at selve produktet skal gi forbrukerne en god opplevelse.

Bilde Kreditt: Hilsen til Microsoft

Utforsk mer om: Augmented Reality, Microsoft, Virtual Reality.