Vil et språk for oversettelsesapplikasjoner bli en realitet?

Tenk deg en verden hvor hindringene mellom døve og hørselen er borte. En verden hvor samtaler strømmer flytende blant dem som hører lyd, og de som ikke gjør det. Kunne den verden bli ekte i nær fremtid?

Tilbake i juni utviklet en gruppe markedsføringsstudenter på Berghs School of Communication et konseptvideo for et fiktivt produkt kalt Google Gesture. Produktet inkluderte et bærbart håndleddband og en mobilapp som brukte elektromyografi til å lese muskelbevegelsene til en døve person som gjør tegnspråket. Systemet passerte deretter disse signalene til appen, som oversatte disse signalene til en digitalisert stemme og ville snakke for personen.

Å se på den falske markedsføringsvideoen var ganske spennende. Så spennende, faktisk, at store teknologiske nettsteder som Mashable, Slashgear og andre opprinnelig annonserte produktet som ekte, og senere måtte fortelle påstanden og be om unnskyldning for deres feil. Det var en merkelig feil, med tanke på at det virkelig er et Google-produkt kalt Google Gestures Search [Ikke lenger tilgjengelig], som lar deg tegne bevegelser på mobilskjermen for å søke kontakter, bokmerker og mer.

Uansett, hadde Berghs studenters konsept en bemerkelsesverdig ide som førte til spørsmålet - kan det være mulig å lage en slik app for ekte?

Er det mulig å oversette tegnspråket?

Dissecting markedsføringskonseptet på teknisk nivå avslører at teknologien ved hjelp av elektromyografi (EMG) til “føle” tegnspråk er egentlig ikke så langt hentet i det hele tatt. Så langt tilbake som 2009 var forskere fra University of Washington i stand til å benytte flere EMG-sensorer til å dekode muskelbevegelser og konvertere dem til faktiske arm- og håndbevegelser.

Forskerne bygget faktisk en komplett “gjenkjenningsbibliotek”, identifisere hvilke muskelsignaler som representerer hvilken gest. Forskningen viser at denne typen teknologi er tilgjengelig og klar til å implementeres i den typen søknaden Berghs-studentene tenkte.

Så har noen faktisk oppnådd dette ennå? Hvis ikke, hvorfor er det ikke noen som gjør det, og gir døve og hørselshemmede med evnen til å kommunisere med noen i verden gjennom tegnspråk?

Fremtiden for sanntids oversettelsesteknologi

Sannheten er at noen faktisk jobber med en slik oversettelsesteknologi i sanntid.

Det er et selskap som heter SpeechTrans, som har presset grensene for oversettelsesteknologier. 3 Best Translation Tools Basert på Google Translate 3 beste oversettelsesverktøy basert på Google Translate Les mer de siste årene. SpeechTrans samarbeider med teknologipartnere for å produsere noen av de mest bemerkelsesverdige språk oversettelsestjenester på markedet i dag. Dette er tjenester som oversetter tekstchatt til tekstchatt, stemme til tekst og til og med sanntids tale-til-tale-språkoversettelse gjennom mobiltelefon- og skrivebordsprogrammer.

For å undersøke om tegnspråketeknologi kunne bli en realitet i nær fremtid, satte MakeUseOf sammen med SpeechTrans CEO John Frei og COO Yan Auerbach for å diskutere denne banebrytende nye oversettelsesteknologien. Forstå hvilket som helst språk med disse 5 språk oversettelseswebsidene forstå noe språk med disse 5 Language Translation Websites Teknologi har gjort verden til et mindre sted. Folk fra alle deler av denne planeten bruker mange av de samme verktøyene, besøker noen av de samme nettstedene, og blander seg i ulike chatterom online. The ... Les mer og hvor langt ut i fremtiden kan det være.

Utvikling av et tegnsprog oversettelsesapp

MUO: Er det mulig å gjøre det slags tegnspråk til taleoversettelse som Berghs-elevene portretterte i denne Google Gesture-konseptvideoen?

John: Jeg vil si at teknologien er tilgjengelig for å utvikle det. Vi jobber for tiden med Microsoft og Intel i å utforske noen av teknologiene de kommer ut med, når det gjelder maskinvare og programvare. Vi ser på evnen til å bruke teknologien til å gjenkjenne tegnspråket og konvertere det til tale- og lydutgang.

MUO: Du jobber aktivt med å utvikle den teknologien akkurat nå?

Yan: Så det var en kunde som brukte programvaren vår, og trodde det ville være fantastisk hvis vi kunne endre det slik at folk med nedsatt hørsel kan bruke den til å ringe fra appen vår, for å kommunisere uten behov for skilt språk når de er i person, eller uten behov for en TTY-type tjeneste for telefonsamtaler. Vi utviklet det produktet, og med finansiering fra Microsoft og Intel lanserte vi SpeechTrans for hørselshemmede på Windows 8.1, som fjerner behovet for tegnspråk.

MUO: Hvordan gjør “personlig” app arbeid?

Yan: Det er en lyttemodus, og det er en inngangsmodus. Så når noen snakker til deg, setter du på lyttemodus, og det teller ut alt de sier på skjermen i tekst. Da, når du reagerer tilbake, skriver du det ut og så taler det høyt hva du skriver. Med telefonen kan du bare ringe til en persons telefonnummer, og når de svarer på telefonen, blir det som en øyeblikkelig melding. Uansett hva de snakker får du som en IM. Så, hva du skriver, blir sagt høyt gjennom telefonen. Det er første fasen.

I nærheten av fremtidig tegnsprog oversettelse

MUO: Hvilke teknologier kan folk forvente å se i nær fremtid? Hva er neste fase?

John: Vi forestiller oss - for noen som bare har mulighet til å bruke tegnspråk - for å kunne gjøre det foran en enhet som en telefon, PC eller bærbar PC. Intel har et nytt kamerasystem, og Microsoft gjør så godt med Kinect, det gjør gjengjenkjenning.

MUO: Hvordan er dette bedre enn det armbandkonseptet som Berghs-studentene fremhever?

Yan: I utgangspunktet skal vi jobbe på en måte der det ikke krever at du legger noe på armen. Det vil gjenkjenne 64 poeng på hånden din. Vi bruker beta-versjonen av Intels RealSense-kamera. Så ikke bare vil vi kunne gjenkjenne alle tegnspråk og flere forskjellige dialekter av tegnspråk, men vi vil også kunne gjenkjenne følelser, ansiktsuttrykk og andre små nyanser, og så konvertere det også til talte ord.

Det vil ikke kreve at du bruker noen hansker eller noe. Vi fokuserer på det markedet, spesielt fordi vi bare liker å hjelpe folk generelt. Vi ønsker ikke bare å hjelpe folk som ønsker å snakke på mange forskjellige språk, men vi vil også hjelpe folk som ikke kan snakke på noe språk. Teknologien eksisterer, og det er ingen grunn til at livskvaliteten skal være annerledes enn vår.

John: Det er et gjennomførbart konsept. Det er bare en annen inngang og utgang. Noen av samtalene vi har hatt med Microsoft om noen av fremtidens teknologier, er hvor noen faktisk kunne implantere en mikrochip i nakken, og den leser direkte deres hjernebølge mønstre. Så hvis du hjelper folk som ikke kan kommunisere, ville vi faktisk se noe som det som en fase tre distribusjon.

I fjor var det en gruppe studenter som kom ut med en fungerende prototype av en hanske som ble koblet til en datamaskin. De bevegelsene du laget med hansken, ville da bli gjenkjent og omgjort til tegnspråk. Så de har allerede muligheten med dagens teknologi.

Vår visjon er at vi ikke virkelig ønsker å lage tilbehør som armbåndene du må sette på. Det bør bare være naturlig og frittflytende for dem [folk som gjør tegnspråk] for å gjøre det foran videokameraet. 90% av hva folk sier i kommunikasjon er faktisk i sitt kroppsspråk. Å kunne få tilgang til ansiktsgjenkjenning, bevegelser og følelser, vil vi også kunne bruke dataene for å sikre at oversettelsen og hva de prøver å formidle er uttrykt i riktig form.

MUO: Er Intel innen 5 års rekkevidde av å ha det tegnspråkkjenkjennelsesteknologien?

John: Intel har definitivt mange ressurser tilgjengelig. Deres teknologi og deres programvare kommer sammen i et tempo der vi kan få dette til å skje ganske raskt.

MUO: Har du en tidsramme for når du håper å få denne teknologien inn i markedet?

John: For tegnspråket er det omtrent 12 til 18 måneder.

MUO: Har noen andre der ute noe annet som dette for tegnspråk oversettelsen?

John: Jeg så en YouTube-video av IBM som gjorde en prototype der noen gjorde tegnspråket, men det var et bevis på konsept, og det hadde bare som tre eller fire ord som det gjenkjente. Vi har over fem hundre tusen ord som vi planlegger å rulle ut med, så det skal ta det til et helt annet nivå.

Konklusjon

Mens visjonen som elevene i Berghs drømte om, kanskje ikke blir fremtidens språk for oversettelsesapplikasjoner, betyr det ikke at et slikt konsept ikke vil skje. Det som jobber på SpeechTran, Intel og Microsoft viser at oversettelsen på tegnspråk er nesten sikker på å bli en ekte teknologi innen bare noen få år. Det vil mest sannsynlig ikke innebære besværlige armbånd, men i stedet ikke noe annet enn et spesielt videokamera og en mobilapp.

Gjennom magien av gest- og ansiktsgjenkjenning, lover denne fremmedspråkens oversetter app for fremtiden å fullstendig revolusjonere mellommenneskelig kommunikasjon for hundretusenvis av hørselshemmede. 5 Beste ressurser for brukere av Mac og Apple-enheter med funksjonshemminger 5 Beste ressurser for brukere av Mac og Apple Device. med funksjonshemminger Les mer eller høreapparater over hele verden.

Utforsk mer om: Bionic Technology.