Avatar ska översätta teckenspråk

Ett 50-tal personer inklusive gästforskare, doktorander och assistenter med mera arbetar här med olika projekt. Forskningen är tvärvetenskaplig och behandlar kommunikation och interaktion människor emellan och mellan människor och maskiner.

Jonas Beskow är vice prefekt och professor i talkommunikation. Han har arbetat inom området sedan mitten av 1990-talet då han gjorde sitt examensjobb kring ansiktsanimering, något som senare ledde till projektet Synface för att skapa ett animerat ansikte för att ge avläsningsstöd åt hörselskadade vid telefonsamtal med hjälp av talsyntes.
För närvarande arbetar han bland annat med ett projekt för att skapa en avatar som kan översätta tal till svenskt teckenspråk.
– Det har varit en enorm utveckling inom tal- och språkteknologi, men utvecklingen när det gäller teckenspråk har inte riktigt hängt med, säger han.

En orsak är att det inte finns tillräckligt många inspelade videor med exempel på teckenspråk som kan användas som referensmaterial.
– Vi håller på att bygga en teknik som kan koppla ihop teckenspråk med AI-modeller för maskininlärning så att avataren klarar att översätta svenskt tal.
Referensmaterialet på teckenspråk kommer från Stockholms universitets lexikon och korpus för svenskt teckenspråk. Snart kommer även teckenspråksmaterial från SVT:s sändningar att användas.

För att träna avataren används även så kallad Motion Capture, samma typ av teknik som används för att skapa de så kallade ”Abbatarerna” till Abbas arena i London.
– Man filmar en person som tecknar och personen har på sig en dräkt och ett par särskilda handskar med sensorer som gör att programmet känner av alla rörelser.
Rörelserna omvandlas sedan till ”streckgubbar” som sedan kan användas så att avatarens rörelser ska bli så naturtrogna som möjligt.

Hur långt har ni kommit med projektet?
– Det är ett fyraårigt projekt och vi har två år kvar så vi är ungefär halvvägs, men jag hoppas vi kan ha en första version klar om ungefär ett år, säger Jonas Beskow.
– Forskning och teknik accelererar och det går fortare och fortare från idé till att göra prototyper för användning.

Kan det ibland vara så att tekniken utvecklas så fort att det man forskar om redan har fått en lösning?
– Att forska om grundläggande problem är alltid relevant och kan ge ny kunskap. All kunskap behöver också valideras vilket ofta är ett stort arbete.

Prefekt för Tal, musik och hörsel är professor Joakim Gustafson. Även han har arbetat på institutionen ungefär sedan mitten av 1990-talet.
Han jobbar för närvarande bland annat med att få talsyntesröster att låta mer naturliga så att kommunikationen påminner mer om en dialog mellan människor.
– Det blir lättare att förstå när prosodin, talets rytm och betoning, blir mer mänsklig och när man kan lägga in pauser som vi ofta gör om vi är lite osäkra eller innan vi ska säga något viktigt.

I ett projekt arbetar Joakim tillsammans med bland andra Danica Kragic Jensfelt som är professor i datologi vid KTH med att utveckla en robot som ska kunna hjälpa äldre i hemmet.
Roboten går på hjul, men kan också resa sig upp och till exempel plocka ned saker från en hylla.
– Tanken är att konstruera ett taldialog­system där roboten även ska kunna ta in information från bild och video och reagera på vad användaren gör och se på kroppsspråket när den ska hjälpa till eller inte. Vi vill undersöka hur en sådan robot ska designas för att vara till så stor nytta som möjligt.
– Men om man ska ha en sådan robot i sitt hem som kan lyssna och titta på vad man gör är det väldigt viktigt med personlig integritet. Att allt som spelas in enbart finns lokalt och inte skickas vidare någonstans och att det finns möjlighet att stänga av funktionen.
Han poängterar att det inte handlar om att roboten ska ersätta hemtjänst eller liknande.
– Personer som har hemtjänst kanske tre, fyra gånger per dag har ju även behov av hjälp däremellan och förhoppningen är att den ska kunna bidra till ett mer aktivt liv.

Andra projekt som Tal, musik och hörsel har varit involverade i är en metod att ställa diagnos för demens genom att studera hur en person talar och en undersökning av hur olika ljudmiljöer påverkar talet där det även visade sig att det är lättare att uppfatta vad som sägs när talaren uttrycker sig i kortare meningar.
– Vi har också två pågående projekt att ta fram en talprotes för dem som inte själva kan prata, säger Joakim Gustafsson.

Även Peter Nordqvist tillhör institutionen. Han är föreståndare för forskningsinstitutet Hörselbron som drivs av HRF.
– Kommunikation och hörsel är ett brett område. Tidigare handlade hörapparater nästan enbart om att förstärka ljudet. Idag är det mer en helhetsbild med ett eget ekosystem som har många fler möjligheter.
– Det har också skett ett närmande mellan konsumentelektronik och medicinsk elektronik, säger han.
Han anser att det som än så länge begränsar möjligheterna för hörapparater är strömförsörjningen.
– Hörapparater är ganska små och det innebär ett kapacitetsproblem med batterierna. Därför tror jag att hörapparaterna i framtiden i princip bara kommer att fungera som mottagare och sändare medan beräkningarna görs på någon annan plats, till exempel i en mobil­telefon.