Op weg naar gebruikersspecifieke hoorapparaten op basis van hersengolven: detecteren of de gebruiker actief luistert

Wat zegt u, ik heb u niet goed verstaan? 1 op 10 Belgen lijdt aan gehoorverlies en spreekt deze zin dagelijks uit. Wat als we slimme hoorapparaten zouden kunnen ontwerpen, die hersengolven gebruiken om op het juiste moment in te schakelen? Dit wordt realiteit door te detecteren wanneer iemand actief aan het luisteren is. Telepathie zegt u? Nee, technologie!

Detecteren of de gebruiker actief luistert

Detecteren wanneer iemand actief aan het luisteren is, opent poorten naar een waaier aan applicaties. Zo kunnen neurogestuurde hoorapparaten ontworpen worden, die hersengolven gebruiken om in te schakelen op momenten dat de gebruiker actief aan het luisteren is. Daarom onderzoeken we hoe we kunnen detecteren wanneer deze gebruiker actief luistert. Bovendien bestuderen we methodes om deze technologie aan te passen op een gebruikersspecifieke basis om zo de ontwerptijd te verkleinen.

Natuurlijk beschikken mensen niet over telepathische gaven om te detecteren wanneer iemand actief aan het luisteren is. Daarom maken we gebruik van technologische ontwikkelingen rond ‘elektrische afbeeldingen’ van het menselijk brein, elektro-encefalogramsignalen genaamd.

Het elektro-encefalogram (EEG)

Het menselijk brein bestaat uit 86 miljard fundamentele cellen, neuronen geheten. Deze cellen zijn met elkaar verbonden en communiceren via elektrische signalen. Wanneer grote groepen neuronen een synchrone, elektrische activiteit vertonen, kunnen sensoren bevestigd op de schedel deze activiteit opmeten. Deze sensoren geven met andere woorden een ‘afbeelding’ van de elektrische activiteit van het brein. Zo een ‘afbeelding’ is een elektro-encefalogram (EEG).

Sensoren bevestigd op de schedel maken een ‘afbeelding’ van de breinactiviteit, het elektro-encefalogram genaamd.

Hoe kunnen we dit EEG nu gebruiken om te detecteren wanneer de gebruiker actief aan het luisteren is? Wel, het EEG bezit de bijzondere eigenschap dat het een voorstelling bevat van de spraaksignalen. Hiervoor volgt het EEG trage variaties die het spraaksignaal omsluiten, de spraakenveloppe (zie afbeelding hieronder). Die spraakenveloppe volgen is dus dé manier van het brein om sprekers op te slaan. Het EEG volgt deze spraakenveloppe bovendien in hogere mate wanneer de gebruiker aandachtiger luistert naar het spraaksignaal. Deze eigenschap kunnen we nu uitbuiten om te bepalen wanneer de gebruiker actief aan het luisteren is door computermodellen en machine learning te gebruiken.

De spraakenveloppe omsluit het spraaksignaal.

Computermodellen en machine learning

De computermodellen laten wiskundige bewerkingen los op het EEG om de spraakenveloppe terug te vinden uit het EEG. Zo maken we gebruik van een specifiek computermodel: het kleinste kwadratenmodel. Dit kleinste kwadratenmodel herstelt de spraakenveloppe uit het EEG door een gewogen gemiddelde te maken van de EEG-signalen. Vervolgens wordt deze gereconstrueerde enveloppe vergeleken met de onderliggende, echte spraakenveloppe en een score wordt teruggegeven. Hoe hoger de score, hoe sterker de spraakenveloppe aanwezig is in het EEG-signaal. Met andere woorden, hoe hoger de score, hoe aandachtiger de gebruiker luistert naar het spraaksignaal.

Het kleinste kwadratenmodel herstelt de spraakenveloppe uit het EEG.

Om nauwkeurig de spraakenveloppen te reconstrueren bezit dit kleinste kwadratenmodel bovendien parameters om het model aan te passen aan de gebruiker. Vergelijk het met een draaiknop om de instellingen van een machine aan te passen, zoals de knop om een oven op de juiste temperatuur te zetten. De computermodellen leren zelf de optimale waardes voor deze parameters – de juiste stand van de draaiknop – via machine learning, waarbij het computermodel de optimale waardes leert door te kijken naar voorbeelden. Hiervoor geven we het kleinste kwadratenmodel voorbeelden bestaande uit EEG-opnames met bijhorende spraakenveloppen terwijl we weten dat de gebruiker actief luistert. Door het model de parameters te laten aanpassen op basis van deze voorbeelden, leert het model zichzelf aan om te voorspellen wanneer de gebruiker actief aan het luisteren is.

Gebruikersspecifieke voorbeelden

Aangezien de modellen parameters leren uit voorbeelden via machine learning, moeten deze voorbeelden kwaliteitsvol zijn. Zo bereikt het kleinste kwadratenmodel de hoogste nauwkeurigheid wanneer we voorbeelden verzamelen voor elke gebruiker afzonderlijk. Deze aanpak heeft desalniettemin het nadeel dat de dataverzameling per gebruiker tijdrovend is. Om deze voorbeelden te verzamelen moeten we tenslotte experimenten uitvoeren voor elke gebruiker, waarbij de gebruiker actief moet luisteren terwijl we het EEG opslaan.

Om dit dataverzamelingsprobleem toch aan te pakken, kunnen we nu de voorbeelden van een andere persoon aanpassen aan de huidige gebruiker. Stel dat we een kleinste kwadratenmodel voor Marie willen maken. Hiervoor hebben we toegang tot EEG-signalen van Marie aangezien Marie de EEG-sensoren kan opzetten. Maar we weten niet of Marie actief luistert, zodat het voorbeeld van Marie onvolledig is en we géén machine learning kunnen toepassen. Toch kunnen we Maries EEG gebruiken om de voorbeelden van een andere persoon, Jef, aan te passen aan Marie. Door relaties te zoeken tussen de EEG-signalen van beide personen, kunnen we de voorbeelden van Jef aanpassen aan Marie. Die aangepaste voorbeelden zijn dan meer gericht op Marie en kunnen we wél gebruiken om de parameters van Maries kleinste kwadratenmodel te leren via machine learning. Deze methode levert nog niet dezelfde kwalitatieve voorbeelden op als de dataverzameling per gebruiker, maar lijkt een stap in de goede richting. De methode levert namelijk significant betere parameters op voor Maries kleinste kwadratenmodel dan wanneer we de voorbeelden van Jef gebruiken zonder aanpassing.

Door relaties in de EEG-signalen te zoeken, verbeteren de parameters van Maries kleinste kwadratenmodel significant.

De toekomst?

Via EEG en computermodellen is het mogelijk om te detecteren wanneer een gebruiker actief aan het luisteren is. Hiervoor kunnen we een kleinste kwadratenmodel gebruiken, waarbij het model de optimale parameters zelf leert uit voorbeelden via machine learning. Om het typische nadeel van de dataverzameling per gebruiker in deze machine learning-strategie te minimaliseren, kunnen we bovendien voorbeelden aanpassen aan de huidige gebruiker. Toch is het onderzoek in dit domein verre van voltooid. Zo zijn de aangepaste voorbeelden nog steeds niet volledig afgestemd op de gebruiker. Niettemin hebben we stappen gezet om te detecteren wanneer een gebruiker actief luistert, en wie weet luisteren we ooit naar elkaar via neurogestuurde hoorapparaten op basis van deze modellen. Immers, zoals Abraham Lincoln al wist: “The best way to predict the future is to create it".