Van smartphone en tablet naar voorleesloep voor blinden en slechtzienden

Van smartphone en tablet naar voorleesloep voor blinden en slechtzienden

Het schrift, dat 5000 jaar geleden werd uitgevonden, is onze belangrijkste vorm van informatie en communicatie. We denken dan automatisch aan boeken, tijdschriften en kranten, maar het schrift gaat veel verder. Ingrediënten op een verpakking, een vliegticket, een lottobiljet, etc. Kortom, het schrift is nog nauwelijks weg te denken uit onze maatschappij. Er is natuurlijk een probleem als de lezer de tekens niet meer kan zien. Gelukkig zijn er in de geschiedenis reeds een aantal oplossingen uitgevonden zoals brillen, uitgevonden in de 13de eeuw of het brailleschrift, uitgevonden in 1829 door Louis Braille.

Bedrijven zoals Koba Vision gaan hierin nog een stapje verder. Met behulp van optische camera's kunnen ze teksten vergroten en weergeven op een tv-scherm. Deze beelden kunnen ook door beeldverwerking worden gemanipuleerd met een nog duidelijkere tekst als resultaat. Een veel gebruikte techniek hiervoor is bijvoorbeeld thresholding. De techniek Optical Character Recognition of OCR gaat nog verder. OCR herkent letters en tekens en zet ze om in spraak via spraaksynthese.

De nieuwe technologie van vandaag zijn de tablets en smartphones. In ons dagdagelijks leven zijn ze niet meer weg te denken. We gebruiken ze als handig werktool, vooral als media consumptie- apparaat zoals films en foto's bekijken en surfen op het internet. Dit kunnen we mooi verduidelijken in onderstaande foto. In 2005 de bekendmaking van de nieuwe paus en in 2013 onze huidige paus, “Zoek het verschil”.

Dit eindwerk onderzoekt de mogelijkheid om een smartphone of tablet om te vormen tot een voorleesloep voor blinden en slechtzienden. De uitdaging die zich stelt, is dat smartphones en tablets niet toegankelijk zijn voor deze doelgroep. De user interface van deze toestellen is erg visueel. Er is m.a.w. geen voelbare feedback zoals dat bijvoorbeeld het geval is bij digitale braille lezers. Ook het positioneren van het toestel, zodat de in te scannen tekst volledig in beeld is, geeft problemen voor deze doelgroep.

Het opzet van de applicatie is de ingebouwde camera van een smartphone of tablet te gebruiken om (via bestaande spraaktechnologie) een tekst in schrift om te zetten in audio of braille.

De meerwaarde die een dergelijke applicatie kan bieden, ten aanzien van bestaande digitale braillelezers, is gebruiksgemak.

Terwijl de klassieke hulpmiddelen, zoals een beeldschermloep, perfect hun dienst bewijzen in een bekende en gecontroleerde omgeving (woonkamer), biedt een applicatie via smartphone of tablet veel meer  flexibiliteit en mobiliteit. De applicatie, die in deze thesis is ontworpen, is geschreven in Android en maakt gebruikt van libraries en API's zoals ABBYY Mobile OCR en OpenCv. Om de App toegankelijk te maken is er een Accessibility-service ontwikkeld dat met behulp van swipe gestures, de gebruiker toelaat om de App te gebruiken en het gebruiksgemak te vergroten.

Het positioneren van de smartphone, om de foto te nemen, kan worden opgelost op 2 manieren.

De eerste manier is een op maat gemaakte staander voor een smartphone. Deze wordt gepositioneerd zodat een A4 pagina volledig in beeld komt op de camera van de smartphone. De inhoud van de tekst op het blad wordt toegankelijk en kan via een bluetooth hoofdtelefoon (audio), een tablet (audio) of een brailleleesregel geraadpleegd  worden.

De bluetooth hoofdtelefoon kan via de play/pauze/volgende/vorige knop de applicatie bedienen. De tablet kan via een bluetooth verbinding beelden ontvangen van de smartphone en commando’s doorsturen, bijvoorbeeld bij het nemen van een foto. Het braille display zal de gevonden tekst omvormen in braille. Het braille toestel bestaat uit een dynamische leesregel waaruit pennetjes omhoog komen in het braillepatroon. Door met de vingers te voelen aan deze pennetjes kan een blinde of slechtziende, die erin getraind is, voelen wat de gevonden tekst is. Ook zijn er knoppen voorzien om net zoals de hoofdtelefoon en tablet commando’s te sturen naar het toestel. Deze oplossing is natuurlijk ideaal indien meer privacy gewenst wordt zodat hij de tekst niet moet laten voorlezen.

De tweede manier is een detectie algoritme dat in de preview frames de coördinaten van de rand van het blad gaat zoeken. Hierdoor kan de App feedback geven aan de gebruiker waar het blad zich bevindt en kan de gebruiker zichzelf bijsturen zodat de tekst voldoende in beeld komt.

Eenmaal de foto genomen is, kan het OCR algoritme de tekst gaan herkennen. Na de fotoherkenning kan de gevonden tekst doorgestuurd worden naar de spraaksynthese. Ook worden de coördinaten van de verschillende letters gebruikt om de vooruitgang van het spreken weer te geven op de foto. Met deze coördinaten kan de gebruiker ook een zin aanduiden op het scherm waar het lezen kan starten.

Het uiteindelijke doel is dat slechtzienden en blinden makkelijker en vaker kunnen participeren aan het maatschappelijk leven door een makkelijk te bedienen en drempelverlagende applicatie. Voortaan kunnen slechtzienden en blinden zelf het menu op restaurant inkijken of de dienstregeling in het bushokje raadplegen. Kleine dingen die een grote impact hebben op de levenskwaliteit van slechtzienden en blinden.

Heel deze nieuwe evolutie van draagbare toestellen, die alsmaar krachtiger worden, kunnen zoals gebleken in dit onderzoek de oplossing bieden voor veel problemen. Dit onderzoek bewijst zeker dat ze een grote bijdrage kunnen leveren voor de doelgroep van blinden en slechtzienden.