VR er i ferd med å endre filmskaping for alltid. Slik er det

Hollywood snakker om virtuell virkelighet. På Oculus Connect-konferansen i forrige måned snakket et helt panel av Hollywood-alumner om teknologien, og det er applikasjoner i filmskaping.

I mellomtiden begynner tunge hittere i bransjen å veie inn. James Cameron hater det. David Attenborough gjør en dokumentar om det. Den siste (utmerkede) filmen Interstellar hadde en VR-opplevelse som fremmer den.

Virtual reality er en ny måte å kommunisere med seeren på, og mange med bakgrunn i tradisjonell filmskaping finner mulighetene spennende. Den virtuelle virkeligheten, i stedet for bare å gi et vindu til en ny verden, tillater direktører å ta kontroll over hele verden rundt betrakteren.

Hva kan du gjøre med et VR-kamera?

Det tar ikke mye fantasi å bli begeistret for ideen om VR-kameraer. Filmmakere kan bokstavelig talt bringe publikum ansikt til ansikt med sine karakterer, og fordyre dem i spektakulære, bisarre verdener. Fotografer kan fange hele scener, frosset i tid, for å bli inspisert av alle, hvor som helst i verden.

Dokumentarer kan ta publikum til steder de ellers aldri ville kunne besøke. De kunne sende et VR-kamera til bunnen av havet og la seerne stå midt i den sunkne balsalen til Titanic. Naturdokumentarer kan manipulere tid og rom, sette brukere blant maur på størrelse med hunder, eller bygge nedsenkende tidsforløpssekvenser. NASA kunne montere et VR-kamera på en Mars-rover og la millioner av mennesker stå på den røde planeten.

Det er også selvfølgelig mer dagligdagse applikasjoner:

En av nøklene til forbrukerens VR-suksess vil være stereoskopisk panoramisk kattvideo.

- John Carmack (@ID_AA_Carmack) 6. november 2014

Live VR-video kan også være svært overbevisende. Sportsspill kan være eksternt deltatt, VR-kameraer vil gi alle seter i retten. Selv turisme kan være virtuell.

Brukere kan leie en enkel telepresence robot (kanskje en Segway med et VR-kamera som sitter på styret), og pilot det rundt, hvor som helst i verden. Den Segway ville streame sin video tilbake live, slik at turister til nesten “Teleport” seg selv over hele verden for å utforske hvor som helst. Det virker trygt å si at VR skal forandre verden Hvorfor Virtual Reality-teknologi vil blåse deg i 5 år Hvorfor Virtual Reality-teknologi vil blåse deg i 5 år Fremtiden for virtuell virkelighet inkluderer hodet, øye og uttrykkssporing, simulert berøring , og mye mer. Disse fantastiske teknologiene vil være tilgjengelige for deg på 5 år eller mindre. Les mer .

VR-filmskaping har imidlertid mange utfordringer. Hvordan kan styremedlemmer bevege kameraet samtidig som seeren er komfortabel? Hvordan kutter regissører film uten å disorientere seeren? Hvordan sørger de for at seeren ser i riktig retning for å fange viktige plottbegivenheter? Gjør nærbilder enda fornuftig?

Kanskje de største problemene er de praktiske: Hvordan registrerer du innhold for virtuell virkelighet? Gjenvinning av levende VR-innhold for spill er beregningsintensivt, men konseptuelt grei. Opptak av virkeligheten, derimot, utgjør noen alvorlige utfordringer.

Panoramakamera

Den enkleste løsningen (og den eneste mye brukte en for øyeblikket) er enkel panoramavideoopptak. I denne ordningen brukes en ball med konvensjonelle kameraer til å ta opp video i alle retninger, og resultatene blir sydd sammen med programvare for å skape en sømløs videofelt. Disse er mye som panoramaene du tar 5 Tips for å ta panoramabilder med smarttelefonen 5 Tips for å ta panoramabilder med din smarttelefon Panoramabilder av fantastiske landskap ser nesten alltid fantastisk ut, men de kan være svært vanskelig å skape. Ved hjelp av en smarttelefon er det ulike teknikker og triks som du kan ansette for å få de beste resultatene. Les Mer e med telefonen, men spilles samtidig i videoformat. Utgangen av prosessen ser noe ut som dette:

Dette er grei og billig. Du kan forhåndsbestille et panoramakamera for ca $ 700, men det har begrensninger. Det viktigste er mangel på dybde: Panoramaene blir gjengitt på en uendelig stor sfære, så parallaxen mellom øynene dine er null, selv for deler av bildet som egentlig burde ha dybde, som en person som står ved siden av deg.

Til tross for denne mangelen er opplevelsen fra panoramavideo fortsatt overraskende kul, spesielt for innhold som foregår på avstand (luftfotografering er et godt eksempel). For en uke siden bygget jeg en Oculus Rift app som gjør en virtuell cockpit inne i videoen over, og resultatene er overbevisende: det føles som å ri i en ubåt omgitt av havskildpadder størrelsen på små bygninger.

Tenk på denne typen VR-innhold som et personlig super-IMAX-teater der du står opphengt midt i et stort sfærisk display. Plassen av sfærisk video er allerede noe som er umulig med tradisjonelle filmverktøy. Selv med sine begrensninger, er dette sannsynligvis hva mest VR-video kommer til å se ut i den nærmeste fremtid. Richard Attenboroughs dokumentarfilm (“The Conquest of the Skies“) blir skutt i dette formatet.

Stereo Panoramic Camera

La oss si at en regissør er ulykkelig med begrensningen av monoskopiske panoramabilder. En åpenbar utvidelse av teknologien er å bringe inn 3D-teknologi ved siden av siden. Gammeldags moro: Hvordan lage 3D-bilder for å se uten briller. Gammeldags moro: Hvordan lage 3D-bilder for å se uten briller. Tro det eller ikke, du trenger egentlig ikke 3D-briller for å oppleve overbevisende realistiske 3D-bilder (eller filmer). Du trenger bare å gjøre deg selv gå “crosseyed”. I hovedsak ser du på to bilder, og med vilje ... Les mer. For å gjøre dette trenger maskinvaren to parallelle kameraer som vender mot hver retning, motvirket av ca 6,3 cm. Deretter bruker kameraet programvare til å sy sammen to panoramabilder: en for venstre øye og en til høyre. Forskjellen mellom dem skaper illusjonen av dybden. Produkter som støtter denne opplevelsen er tilgjengelige, selv om de er dyre ($ 995, pluss kostnaden for ti GoPro-kameraer).

I et forsøk på å gjøre denne typen innhold mer vanlig har Samsung nylig annonsert “Prosjekt utover”, et VR-stereo panoramakamera for Oculus-Samsung Gear VR mobilheadsettet. Den nåværende prototypen har formfaktoren til en liten puck, og bruker 17 HD-kameraer, og gir en gigapixel per sekund med data.

Ved 30 fps fungerer det ut til panoramabilder som er omtrent 15 megapiksler per øye, eller ca 50.000 piksler per øye per visuell grad. Prisinformasjon er fortsatt noe av et mysterium, og Samsung understreker at dette ikke er et ferdig prosjekt. Du kan se forhåndsvisningsvideoen nedenfor.

Stereopanorama er tydeligvis en bedre opplevelse enn deres monoskopiske brødre - store ting ser store ut, små ting ser små ut, gjenstander har dybde og posisjon, og det føles mye mer som å være der. Når det er sagt, er opplevelsen fortsatt langt fra perfekt. Som John Carmack beskriver i sin Oculus Connect-keynote, har stereo panoramaer mange problemer.

“... stereoskopiske panoramaer, enten stille eller videoer, er absolutt et hack. Det er - vi vet hva som er riktig og dette er ikke riktig. Det de gjør, er at du har skiver tatt fra flere kameraer, så rett fram er det riktig stereo for en para-vis, og så her er det riktig for dette. Men det betyr at hvis du ser på hva som var riktig for øynene her, men du ser ut av øyet ditt, er det definitivt ikke riktig. Det er ikke den rette ulempen for øynene.

Og da enda verre hvis du setter hodet ditt som dette [ruller hode], blir det alt slags dårlig, fordi det er satt opp bare for øynene rett fram. Så dette var en interessant ting. Vi har ting der vi i utgangspunktet vet på noen måter dette kan forgiftes, dette kan være en virkelig dårlig opplevelse hvis folk du bruker mye tid slouched over. [...]

Dette er tekniske problemer som kanskje kan løses av bedre maskinvare. Det er imidlertid et dypere problem: hva skjer når du beveger hodet? Panoramaene for begge øynene er fortsatt gjengitt i uendelig: fysisk bevegelse av hodet vil resultere i den kvalmende følelsen at verden beveger seg med deg, spesielt hvis det er objekter nær deg. Det er ingen enkel måte å finne ut hva et stereoskopisk bilde vil se ut fra et nytt synspunkt.

Til tross for disse begrensningene, er stereotypiske opplevelser fortsatt overbevisende. Gear VR-plattformen vil fokusere på disse typer erfaringer, siden de kan opprettes med moderne maskinvare og vises uten å beskatte maskinens renderingskapasiteter. Stereopanorama vil trolig være gullstandarden for VR-innholdsproduksjon, i hvert fall de neste årene.

Dybdekameraer

Et alternativ til å fange to sider ved siden av bilder (som med tradisjonelle 3D-filmer) er å fange det som er kjent som dybdebilder: et enkelt bilde tatt fra et enkelt perspektiv, som inneholder en ekstra fargekanal som lagrer avstanden fra objektivet av pikselet i spørsmålet.

Hvis du har det, kan programvare simulere virtuelle kameraer som ser på bildet fra nye perspektiver, og sørg for at du alltid har et nytt, riktig bilde fra hvert øye. Det er mulig å generere panoramiske dybdebilder som tillater naturlig hodet bevegelse og rotasjon på en måte som ikke er mulig med stereo panoramaer. Det er noen teknologier du kan bruke til å fange disse dybdebildene.

Flytid

Den versjonen av denne teknologien som du mest sannsynlig er kjent med, er den som brukes i Kinect. Kinect V2 (versjonen som følger med Xbox One) er avhengig av det som er kjent som et fly-kamera.

Teorien her er grei: kameraer med tidssone er infrarøde kameraer som er i stand til å registrere ikke bare hvor lyset slår på sensoren, men når Lyset slår sensoren, med en presisjon på noen mikrosekunder. Dette er kombinert med et fargevideokamera og et infrarødt strobe-lys. Ved starten av hver ramme blinker IR-stroppen, og lyser scenen veldig kort. Ved å bestemme hvor lenge det tar hver piksel å observere blitsen, kan kameraet avlede fra lysets hastighet hvor langt unna hver piksel er fra kameraet.

Denne teknologien er enormt kraftig. Hackere har gjort noen fantastiske ting 5 Microsoft Xbox Kinect Hacks som vil blåse deg i Mind 5 Microsoft Xbox Kinect Hacks som vil blåse deg i sinnet Les mer med det. Ved å bruke flere Kinects i en overlappende konfigurasjon, kan det være mulig å lage et panorama av en scene med en presis dybdeverdi for hver piksel, som kan gjengis i virtuell virkelighet for å skape en fordybende opplevelse med riktig dybde.

For å få en ide om hva slags resultater denne tilnærmingen produserer, sjekk ut denne videoen som viser produksjonen fra bare dybdekameraet til Kinect V2.

Dette er et høyverdig dybdebilde - mange detaljer, rene kanter og ikke for mye støy. Det er imidlertid noen begrensninger: den største advarselen er at Kinect i dette eksemplet registrerer en innendørs scene med nøye kontrollerte lysforhold.

I virkelige scenarier (og spesielt utendørs) kan omgivende IR-interferens fra direkte og indirekte sollys og glødelamper redusere nøyaktigheten. Det er også et mer grunnleggende problem, som er den tiden av flykameraer avhenger av aktiv belysning. Det setter noen harde grenser på hvor langt de kan se. De klarte heller ikke godt med gjennomsiktige og reflekterende overflater. Og fordi dybdeoppløsningen er begrenset av nøyaktigheten av timingen, er kamerakameraer ikke veldig nyttige for opptak av små gjenstander, noe som gjør at det ikke er mulig å spille med skala.

Light Field

En annen teknologi for å fange dybdebilder er kjent som "light field" fotografering. Lytro Light Field Camera: Snap Happy eller Photo Gimmick? Lytro Light Field Camera: Snap Happy eller Photo Gimmick? Beskrevet av en ansatt som "den første store forandringen i fotografering siden fotografering ble oppfunnet", er Lytro Light-Field-kameraet absolutt en revolusjonerende enhet. Kameraet rister opp ting ved å erstatte mye av det tunge ... Les mer .

Slik fungerer det: i konvensjonell fotografi fokuserer kameralinsen innkommende lys på en sensor. Hvert element av sensoren registrerer mengden lys som rammer den. Lysfelt kameraer bruker en spesiell sensor, hvor hver “pixel” er faktisk en liten linse med mange sensorer under den. Dette gjør at kameraet kan måle, ikke bare hvor mye lys som treffer hver piksel, men også vinkelen lyset kommer inn på.

Dette er nyttig av noen grunner. Den enkleste applikasjonen er at ved å endre hvordan dette store "lysfeltet" samples, kan sluttbrukere omdanne et fotografi etter at det er tatt. Programmet som er interessant for VR, er at lette feltkameraer også er, forresten dybdekameraer! Vinkelen til det innkommende lyset fra et objekt er en funksjon av hvor langt objektet kommer fra linsen, i forhold til blenderens størrelse. Langt unna gjenstander produserer lys som er nesten vinkelrett på linsen. Meget nær gjenstander produserer lys som er nesten parallelt. Fra dette er det mulig å (svært nøyaktig) bestemme dybdekartet til et bilde.

Du kan se noen resultater fra et tidlig lysfeltvideokamera under, og hva bildet ser ut som omprojisert fra en annen vinkel.

Fordi det er en passiv prosess, er grenseverdien og romlig nøyaktighet definert av oppløsningen og størrelsen på blenderåpningen, og ingenting annet. Det betyr at ved å bruke forstørrelseslinser, er det mulig å ta lysfeltdybdebilder av stort sett ethvert objekt i enhver skala under noen forhold. For å få et eksempel på hva som er mulig med større, mer nøyaktige lysfelt, se denne videoen, som bruker flere rammer fra et håndholdt lyskamera for å simulere et mye større lysfelt. Det genererer noen ganske overbevisende 3D geometri fra den.

Lette feltkameraer er en mye mindre moden teknologi enn tid for flykameraer (det er bare ett lysfeltkamera i forbrukermarkedet akkurat nå, og det støtter ikke videoopptak). Når det er sagt, med mer utviklingstid, bør lyskameraer tilby en mye mer robust dybdevideoopplevelse i det lange løp.

Håndtere disocclusion

Det er et stort problem med dybdevideoer som er verdt å nevne: hodebevegelse. Ja, det er mulig å reprojisere dybdevideoer til nye perspektiver, og alle piksler vender opp hvor de skal være. Dybdevideoen vil ikke gjøre deg syk. Dessverre innfører de et nytt problem: disocclusion.

Når du beveger hodet på en slik måte at du ser på en del av verden som ikke er synlig i det opprinnelige bildet eller panoramaet, får du en ekkel visuell artefakt: en skygge. For å få en ide om hva jeg snakker om, se denne videoen:

I den videoen hackte en programmerer Kinect å gjøre en dybdevideo av hva den ser i rommet. Ved å flytte det virtuelle kameraet, reprojecterer han scenen fra en rekke perspektiver.

Det er en første generasjon Kinect, så videoinngangen er litt glitchy, men resultatene er ganske imponerende. Den største ulempen, som blir tydelig når han begynner å snu kameraet, er skyggene i scenen. Delen av veggen bak kroppen har et enormt, personformet hull kuttet ut av det: den delen som kameraet ikke kan se og har ingen data for. Disse svarte skyggene kommer til å dukke opp i dybden, så snart hodet begynner å bevege seg. Så hvordan håndterer VR-kameraer disse hullene? Vel, det er noen tilnærminger til dette problemet:

Flere kameraer

Den enkleste løsningen er faktisk å bare registrere ting rundt hjørner og bak okkluderende flater. For å gjøre dette legger du til flere kameraer - mye mer. For å tillate folk å flytte hodet opp til, for eksempel en meter i en hvilken som helst retning, må kameraet utvides for å skape en 2 meter bred sfære full av høye FOV dybdekameraer, slik at programvaren kan syntetisere alle synspunkter innen sfæren.

Dette er den mest robuste tilnærmingen, men også den minst praktiske. En to meter sfære kameraer er ikke en fin, bærbar steadicam, det er en installasjon, og en dyr en. Dette kan være praktisk for noen high-end Hollywood-produksjoner, men absolutt ikke for de fleste virkelige applikasjoner. Du kan se en prototype av denne ideen nedenfor, implementert i form av et live 3D telekonferanseprogram:

Sceneoppbygging

En annen tilnærming, hvis videospilleren primært registrerer noen få dynamiske objekter mot en statisk bakgrunn, er å bruke et dybdekamera for å kartlegge miljøet før de begynner å filme, og bruk disse dataene til å fylle hull i de innspilte bildene. Dette kan gjøres automatisk ved hjelp av en teknikk som kalles SLAM (Simultaneous Location and Mapping), som automatisk fusjonerer mange dybdebilder for å lage et komplett 3D-kart over en scene. Resultatene ser noe ut som dette:

Dette fungerer ganske bra, men er ikke egnet for alle situasjoner. Det er ikke vanskelig å forestille seg å prøve å filme en scene på et travelt offentlig sted, hvor mye av bakgrunnen består av folk som beveger seg rundt og okkluderer hverandre. Det er ikke mulig å fange en enkelt statisk versjon av den aktuelle scenen for å fylle hullene helt enkelt. Videre vil det ikke være praktisk å kartlegge miljøet på forhånd for dokumentar, levende video eller nyhetsformål.

Gjør bare ting opp

Den siste tilnærmingen til problemet er å ty til det vanlige svaret i tilfeller der du ikke har nok data: direkte løgner.

Innsiktet her er at i virkeligheten kommer seeren ikke til å stå opp og prøve å gå rundt på scenen. De setter seg ned, og hva programvaren virkelig trenger å korrigere for, er små variasjoner i pose, forårsaket av seeren som skråner og skifter i sitt sete - disocclusions vil ikke bare være så store. Det betyr at dataene som brukes til å fylle hullene ikke egentlig må være nøyaktige, det må bare se på trolig. De av dere som har spilt med Photoshops innholdsbevisste bildefylling (eller konkurrentene hans Snapheal for Mac: Superhero Image Healer [Giveaway] Snapheal for Mac: Superhero Image Healer [Giveaway] SnapHeal for Mac ($ 14,99) er her for å lagre din fotografier, og det gjør en fin jobb med den. Denne uken vil vi gi bort 25 kopier av Snapheal for Mac verdt $ 375 totalt. Hvis ... Les mer) vet hvor dette skal.

Som det viser seg, har forskere kommet opp med noen ganske gode algoritmer for å fylle hull i levende videostrømmer i sanntid. Du kan sjekke ut noen eksempler nedenfor:

Tenk deg å dekomponere et dybdebilde i lag, trekke dem ut en om gangen for å se hvor skygger muligens kan oppstå, og bruk deretter disse typer in-paint-algoritmer for å generere plausible bilder for å fylle hullene.

Dette er litt vanskeligere enn det enkle 2D-maleriet, siden algoritmen også trenger å lage rimelige dybdeverdier for hullene, men mange av de samme teknikkene kan brukes. Disse tilnærmingene vil ikke fungere perfekt i alle situasjoner, men så lenge disse gjenstander er mindre påtrengende enn store svarte hull i verden, teller det fortsatt som en seier.

Hvor lenge inntil de er ferdige?

Med VR-kameraer, til og med mer enn andre ting, er den perfekte fiende av god.

Selv med den beste teknologien kan penger kjøpe og opptak nøye planlagt for å minimere okklusjonsfeil, resultatene vil fortsatt være ufullkomne. Spekulative høydepunkter, for eksempel, er lysstyrker som vises på skinnende overflater, som varierer i stilling, avhengig av posisjonen til hodet ditt, siden de stole på at lyset reflekteres i en veldig spesifikk vinkel.

Spekulære høydepunkter registrert i selv den beste VR-videoen vil vises som bakte hvite flekker på overflaten, og vil ikke se rett på nærliggende objekter under hodebevegelse. Det er en begrensning som kommer til å bli vanskelig å komme seg rundt. Videre er det vanskelig å fylle okklusjonsfeil i kompliserte scener med mange bevegelige gjenstander. Det gjør at det er helt umulig og vil vare lenge..

Det kommer til å bli år og kanskje til og med flere tiår før VR-kameraer kan gi en perfekt opplevelse på samme måte som tradisjonell 2D-film kan. Det er det offeret du gjør for å oppleve et fundamentalt kraftigere medium.

Med alt som er sagt, kommer noen veldig kule ting ned i røret i nær fremtid. Hvert enkelt alternativ nevnt i denne artikkelen kan skape virkelig verdifulle erfaringer. Samsungs kunngjøring av “Prosjekt utover” er et lovende tegn på ting som kommer.

Oculus Rift er planlagt å starte en gang i 2015, og salgstallene i millioner av enheter virker ikke som en strekning. Hvis den virtuelle virkeligheten tar av den måten, ser det ut som det kan, en enorm mengde teknologisk fremgang kommer til å skje, fort.

Etterspørsel etter innhold vil kjøre VR-kameraer for å bli bedre og mindre og billigere for å møte etterspørselen. Det vil sannsynligvis ikke være mange år før en enhet som koster mindre enn en ny telefon og passer i håndflaten din, kommer til å gi et overbevisende, komfortabelt VR-opptak av noe - og det kommer til å bli veldig, veldig kult.

Hva ville du gjøre med ditt eget VR-kamera? Hva slags innhold er du mest spent på? Gi oss beskjed i kommentarene!

Image Credits: Glasses konsept Via Shutterstock

Utforsk mer om: Virtual Reality, Virtual World.