Kan Virtual Reality kutte ledningen?

La oss ikke hakke ord: Jeg er synlig oppvokst av Valves nye Virtual Reality-hodesett. Ventil og HTC Annonser nytt VR-hodesett for å sende innen jul 2015. Ventil og HTC Annonser nytt VR-hodesett for å sendes innen jul 2015. Valves nye VR-hodesett er det beste verden har noensinne. sett. Er Oculus en sjanse? Les mer .

Vive, laget i partnerskap med HTC, har perfekt sporing av hodet og to kontroller, en komfortabel 2160 x 1200 oppløsning og en ultra skarp 90hz OLED-skjerm. Det kommer ut i år, og det gir interaktive VR-opplevelser som gir en vedvarende følelse av fysisk tilstedeværelse i den virtuelle scenen.

For å få en følelse av hvor bra sporing er, sjekk ut denne videoen av “Galleriet,” et VR-spill blir spilt på Vive.

Utfordringen om fri-roaming virtuell virkelighet

Vive er fantastisk. Men hvis du leser vurderinger av prototypens hodetelefoner som trickler inn, begynner du å legge merke til det en spesiell klage holder popping opp.

Venture Beat:

“Under min prøveperiode med prototypen hadde jeg et belte for å holde et bunt snorer ut av min vei - og nå, da jeg tenker på det, må Valve ha hatt noen å vandre rundt med meg for å sikre at jeg ikke gikk over noen slakk som jeg opprettet da jeg flyttet rundt i rommet.”

PC MAG:

“Fordi det er en helt interaktiv, walk-around opplevelse, må du rydde opp møbler fra midten av et rom og prøve å ikke gå over kabelen som går tilbake til PCen.”

Gizmodo:

“Og det er trolig det viktigste svake punktet med HTC Vive. Det er som Matrisen i det føles ekte, men også fordi du er koblet til en PC med en kabel som kommer ut av baksiden av hodet ditt. Det vil av og til begrense din fri bevegelse og er noen ganger (men ikke ofte, i min erfaring) en tripping fare. Det er ikke en veldig stort problem men merkbar uansett.”

En del av dette er fordi headsettet er en prototype med fem kabler (forbrukerversjonen skal bare ha en, en kombinert USB- og HDMI-kabel som forbinder headsettet med PCen). Problemet ser imidlertid ut til å være grunnleggende for kablede hodetelefoner som gjør at du kan gå fritt. Se oss Prøv Oculus Rift Crescent Bay På CES 2015 Se oss Prøv Oculus Rift Crescent Bay ved CES 2015 Oculus Rift Crescent Bay er en helt ny prototype som viser noen spennende forbedringer i virtuell virkelighetsteknologi. Vi prøver det ut på CES 2015. Les mer. Ledninger er en tripping fare, og også bare slags bummer. De hindrer deg i å ta VR-enheten ut av rommet, mye mindre huset.

Dette blir mer av et problem da vi begynner å bruke VR som et grunnleggende grensesnitt for operativsystemene våre.

Vi hadde ikke PCer lenge før vi ønsket en mobil versjon av opplevelsen (bærbare datamaskiner, smarttelefoner og nettbrett). VR vil være på samme måte, spesielt ettersom vi begynner å integrere utvidede virkelighetsfunksjoner i tråd med Microsoft HoloLens 8 Real-World-bruksområder for Microsoft HoloLens 8 Real-World-bruksområder for Microsoft HoloLens Microsofts HoloLens er kult, men hva vil du egentlig bruke det for? Vi løper ned de mest spennende mulighetene. Les mer .

Dessverre viser det seg at å koble VR-hodetelefoner fra PCer er en stor teknologisk utfordring, og en som vi fortsatt ikke vet hvordan man skal løse. Det er imidlertid to lovende teknologier i horisonten som kan bidra til å løse problemet.

Løsning # 1: PC Streaming

En åpenbar tilnærming til programmet er å bruke PCen til å gjengi den virtuelle verden, og deretter streame de gjengitte bildene til hodesettet over WiFi (som Steamlink, som streamer spill fra PCen til TVen din). Problemet med denne tilnærmingen er latens. I virtuell virkelighet, vil du minimere forsinkelsen mellom å flytte og se at bevegelsen reflekteres på skjermen. Det søte stedet er generelt enig om å være under 20 millisekunder.

Moderne video streaming kan komme ned til under en millisekund av latens, noe som er en god start. Dessverre er en ukomprimert 1440p 90hz videostrøm nesten 8 gigabit per sekund av data. Forbruker Wi-Fi-rutere kan håndtere om lag 100 megabyte. Selv de høyeste ende industrielle rutere maks ut på ca 800 megabits, åtte ganger mindre enn nødvendig. For å fikse dette må du komprimere bildene før du sender dem. Kompresjons- og dekompresjonsprosessen tilfører ca. 80 ms latens, hvilken vil gjør deg syk.

Det er noen mulige løsninger på dette problemet:

Båndbreddeforbedringer

En tilnærming er å prøve å øke hvor mye båndbredde er tilgjengelig. 5G-nettverk, som er tilgjengelig på fem år, kan muliggjøre hastigheter på rundt en terabit per sekund, som kunne håndtere futuristiske 8K HMDer uten komprimering. På kort sikt kan Li-Fi (en Internett-teknologi basert på raskt pulserende lysdioder) tillate overføringshastigheter på 10 GB / s på svært lave ventetider, noe som vil tillate trådløse versjoner av VR-hodesett i dagens generasjon de neste årene, selv om teknologien ikke er tilgjengelig for forbrukerne ennå.

Dette er trolig den beste løsningen på problemet, men det vil ikke være tilgjengelig for forbrukerne i minst et år eller to, det kan være dyrt, og oppløsningen vil trolig ligge bak det høyeste kablede headsettet til riktig 5G-nettverk kommer.

Lokale Warping

Et mer komplisert alternativ ville være å akseptere 80ms latens, og forsøke å korrigere for det etter det faktum, ved å dreie det gamle bildet til den nye hodeposisjonen. Dette produserer fortsatt noe inntaksforsinkelse, men ikke den kvalmefulle motoren.

Standard tilnærming til denne typen problem er asynkron tidskryp, som samler data fra PCen, og forsvarer det ved å bruke en liten GPU på hodesettet for å vise det gamle bildet fra et nytt perspektiv, slik at headsettet kan oppdatere fluidt til tross for høy ventetid.

Ved første rødme høres dette ut som en magisk kule. Dessverre er det noen store fangster. Å sitere Michael Antonov, en Oculusforsker,

“Positiv dommer er en av de mest åpenbare gjenstander med orientering-bare timewarp. Når du beveger hodet, blir bare den ekstra rotasjonskomponenten reflektert i ATW-genererte bildene, mens oversettelseshodet bevegelse siden rammen ble gjengitt, ignoreres. Dette betyr at når du beveger hodet fra side til side, eller til og med bare roterer hodet ditt som oversetter øynene dine, vil du se flere bildejakkere på objekter som er nær deg.

[...]

En mulig måte å adressere stillingsdommeren på er å implementere full posisjonsforming, som gjelder både oversettelse og orienteringsoppdateringer til den originale gjengitte rammen. Posisjonsvridning må vurdere dybden av den originale gjengitte rammen, forskyvning av deler av bildet ved forskjellige mengder. En slik forskyvning genererer imidlertid disoklusjonsartefakter ved objektkanter, hvor områder av plass er avdekket som ikke har data i den opprinnelige rammen.”

Det finnes flere teknikker for å lage data for å fylle hullene som er opprettet av positional timewarp, men alle av dem etterlater artefakter, og de som forlater de minste artefakter er de mest beregningsmessige dyrt. Problemet ligner det som står overfor de som forsøker å vise VR-dybdevideo VR er om å endre filmmaking for alltid: Slik fungerer VR om å endre filmskaping for alltid: Slik er Virtual reality en ny måte å kommunisere med betrakteren på, og mange mennesker med bakgrunn i tradisjonell filmskaping finner du mulighetene spennende. Les mer .

For å løse dette problemet perfekt, må utviklere finne en måte å overføre ekstra data for å fylle hullene. Noen mulige tilnærminger:

• Render far-field og near-field objekter separat og streame begge bildene
• Gi et lysfelt, som kan reprojiseres av store hodeskudd uten disoklusjon
• Utvikle ekstremt sofistikerte hodebevegelsesmodeller, og bruk prediksjon for å minimere disoklusjonsfeil

Det er ikke klart hva den beste løsningen er her. Ingen av tilnærmingene vi kjenner til er perfekte, og noen av dem krever mer forskning. Å finne ut om omprojeksjon er en god ide, koker ned til hvor mye vi kan minimere artefakter. Det er en lovende mulighet, men det er mange ubesvarte spørsmål.

Løsning # 2: Lokal gjengivelse

En helt annen strategi er å glemme PCen, og gjør gjengivelsen lokalt på hodesettet. Slik fungerer Microsofts HoloLens og Samsungs Gear VR. Det er ikke mye kjent om HoloLens fem spørsmål om Microsofts "Project HoloLens" Fem spørsmål om Microsofts "Project HoloLens" Microsofts nye Augmented Reality-headset er veldig spennende - men kan de løse de grunnleggende problemene med AR? Les mer, men Gear VR har en rekke alvorlige begrensninger. Den mobile GPU-en kan håndtere noen beskjedne VR-opplevelser (med intensiv optimalisering), men knapt. Varmebehandling er et problem, oppløsnings- og oppdateringsfrekvensen stiger ikke til nivået som er nødvendig for tilstedeværelse i scenen, og hodesettet har ingen posisjonssporing. Noen av dette skyldes begrensningene i mobilteknologi, og vil bli bedre snart, buoyed av tidevannet i Moores lov.

Noen av disse problemene er imidlertid et resultat av å måtte utvikle seg rundt en smarttelefon som ikke var designet for VR. Hvis du bygger et mobilt VR-headset fra grunnen av, kan du gjøre mange ting annerledes. Designere kan ha to high-end mobile GPUer, en veldig høyoppdateringsskjerm og et stort batteri. De kunne også spre komponenter ut for bedre vektfordeling og varmebehandling. Den resulterende formfaktoren kan se mye ut som Sony Morpheus.

Eller hvis ingeniører ønsket å bli ambisiøse, kunne de bygge noe mer som mini-PC: en liten bærbar blokk av computronium som inneholder en eller flere bærbare GPUer, en vifte og et stort batteri. Denne enheten ville ha en formfaktor som ligner på en Walkman, og ville kjøre en HMD via en enkelt kabel.

Den nåværende NVIDIA flaggskip GPU, GTX 980, som Oculus bruker internt, er bare om lag 40% raskere enn den mobile motparten, 980M, og det er liten. Det er sannsynligvis mulig å passe to av dem inn i en fettpakke, med plass til å spare for resten av tarmene på en liten mobil PC.

Merknad til maskinvareutviklere: Ikke under noen omstendigheter tillate pressen å beskrive produktet som en "finny pack".

Denne formfaktoren vil være chunkier enn et selvstendig hodesett, for ikke å nevne dyrt - baksiden av konvoluttmatelet antyder et prispunkt på rundt $ 2500. Det er mulig at moderne forbrukere ikke vil være interessert i produkter som er uhåndterlige. Det er imidlertid den eneste måten for et mobilt VR-hodesett å levere ytelse konkurransedyktig med PC VR, og jeg mistenker at hardcore-spillere og andre irredeemables vil gå for det. Det er en lang historie av nørder som driver forkant av teknologi ved å være villig til å bruke produkter som gjør dem til å se latterlig ut.

For øyeblikket lider mobilhodetelefoner av manglende evne til å gi posisjonsporing, noe som forårsaker en kvalmende følelse av at verden er festet til torso når du prøver å flytte. Dette problemet kan imidlertid snart løses. På kort sikt er ventilens “fyr” Posisjonell sporingsteknologi er en god løsning: laserprosjektorene er dumme, noe som betyr at de kan flises til å dekke store mellomrom, og kan betjene mange enheter samtidig. Som et resultat i løpet av de neste årene kan fyrsporing bli en billig tjeneste som hjem og bedrifter gir, mye som WiFi er i dag, slik at du kan bruke mobil VR-maskinvare i de fleste innendørsrom.

På lengre tid, som dybdekameraer forbedrer seg i oppløsning og støynivå, bør det begynne å være mulig å bruke dem til posisjonssporing, med nok presisjon for å gi en følelse av VR-tilstedeværelse. Dette vil muliggjøre selvstendige VR-produkter egnet for utendørs og forstørret virkelighetsbruk.

Fremtiden for mobil VR

I det lange løp er mobile hodetelefoner der VR-teknologien går.

Vi kan gjøre matematikken til Moores lov ved å finne ut hvor mange dubleringer vi er borte fra å kunne gjengi fotorealistiske virtuelle verdener på mobile enheter. High end-PCer er kanskje fem dublinger (en annen konsollgenerasjon) borte fra å kunne levere fotorealistiske spillopplevelser til 1080p. For VR trenger vi en dobling for 3D, og ​​tre mer til gjengivelse ved 8K per øye som trengs for å eliminere uskarphet og skjermdørseffekten. For å ta hensyn til mobilplattformen trenger vi om lag fire doblinger for å komme opp til high-end-PCer.

Hvis du legger opp alle forklaringene og multipliserer med atten måneder som dikteres av Moores lov, får du omtrent tjue år (2035), som er det punktet hvor ingen vil være i stand til å fortelle forskjellen mellom en VR-scene gjengitt på en smarttelefon og en gjengitt på en high-end gaming PC. På det tidspunktet er det ingen grunn til å bruke et PC-drevet headsett igjen.

Inntil den dagen kommer, mistenker jeg at vi vil se både kablede og trådløse VR PC-drevne VR-hodetelefoner en stund. Trådløse hodesett vil være mer praktisk, men kablede headsets vil gi bedre oppløsning - i hvert fall til 5G-nettverk er fullt modne.

På den andre siden av splittet vil mobile hodetelefoner fortsette å forbedre seg, og øke markedsandelen fra PC-en som vi skyver langt nok opp kurven med avtagende avkastning, med flere og flere mennesker villige til å ofre en beskjeden mengde troskap for fleksibilitet . Konkurransen vil være hard og forhåpentligvis bra for forbrukeren. Personlig kan jeg ikke vente.

Glade for trådløse hodetelefoner? Vet om en teknologi vi savnet? Gi oss beskjed i kommentarene!

Image Credits: Barone Firenze Via Shutterstock, “Opptak Isans ... ”, av Edvvc, “Phubby,” av Kevin Lin, “HTC VR,” av HTC, “Steam Link,” ved ventilen, “Moores lov,” av Wikimedia

Utforsk mer om: Virtual Reality.