Musik mit den Händen zu hören, klingt nach Science-Fiction, aber ein Team der Université Laval arbeitet an ganz besonderen Handschuhen. Sie können Klänge in Form von Vibrationen direkt auf die Finger übertragen, dank kleiner Lautsprecher. „Man könnte das Piano auf den Daumen und die Flöte auf den kleinen Finger legen“, veranschaulicht Andréanne Sharp, Professorin an der medizinischen Fakultät und Forscherin am CERVO-Forschungszentrum, die das Projekt leitet.
Die gemeinsam mit Professor Jérémie Voix von der École de technologie supérieure (ETS) entwickelte Technologie basiert darauf, die Gehirnbereiche zu aktivieren, die mit jedem Finger verbunden sind, um dem Hören einen „taktilen Hinweis“ hinzuzufügen. Das Musikerlebnis ist nicht dasselbe wie mit unseren Ohren, warnt die Professorin. Sie vergleicht das Gefühl der Handschuhe mit dem, das man empfindet, wenn man die Hände auf einen Lautsprecher legt und die Vibrationen durch den Körper spürt.
Die Lautsprecher sind auf den Fingerknochen angebracht, da diese Konfiguration die Hände freigibt, um beispielsweise ein Musikinstrument zu spielen. — CERVO-Stiftung Die Handschuhe könnten schwerhörigen Menschen als Ergänzung zu Hörgeräten oder Cochlea-Implantaten dienen. „Es ist für sie manchmal schwierig, Sprache oder Musik gut durch Umgebungsgeräusche zu verstehen, selbst mit ihren Geräten“, berichtet Professorin Sharp, die von Beruf Audiologin und aus Leidenschaft Musikerin ist.
Auch Musikerinnen und Musiker könnten von den Handschuhen profitieren, um ihre Leistung zu steigern. „Wir könnten ihnen helfen, sich mithilfe vibrotaktiler Hinweise aufeinander abzustimmen, wenn die Umgebung laut ist, beispielsweise in einer Bar“, betont die Forscherin. Sie fügt hinzu, dass viele Instrumentalisten bereits Vibrationen in ihrer Praxis nutzen, wie etwa beim Geigenspiel mit den Saiten unter den Fingern.
In einer kürzlich durchgeführten Studie untersuchte das Team die Wahrnehmung des Klangfarben mit den Handschuhen. Diese Klangeigenschaft ermöglicht es, Stimmen, Musikinstrumente oder Schallquellen wie die Klimaanlage oder einen bellenden Hund zu unterscheiden. Ein weiteres Projekt testet derzeit, ob das Training mit den Handschuhen die Klangwahrnehmung verbessert. „Wir sind es nicht gewohnt, den Tastsinn zur Wahrnehmung von Klängen zu nutzen, das ist am Anfang etwas verwirrend“, fügt die Forscherin hinzu.
Was im Gehirn passiert
Die Wahrnehmung von Vibrationen nutzt Rezeptoren in der Haut, die sich deutlich von denen unterscheiden, die aktiviert werden, wenn man beispielsweise einen heißen Gegenstand berührt. Um herauszufinden, wie das Gehirn die an die Hände gesendeten Klänge verarbeitet, entwickelte das Team einen Handschuh, der in einem Magnetresonanztomographie (MRT)-Gerät verwendet werden kann, in dem alle metallischen Gegenstände verboten sind.
Das Forschungsteam verwendet auch Elektroden, die direkt am Gehirn angebracht werden, bei Personen mit Epilepsie, die auf eine Operation warten. „Während der präoperativen Phase lassen wir sie ihre Lieblingsmusik mit den Handschuhen hören, und das ermöglicht uns zu sehen, welche Bereiche im Gehirn aktiviert werden“, berichtet Andréanne Sharp.
Die Ergebnisse zeigen eine Kontinuität zwischen dem Tast- und dem Hörsinn. „Die Bereiche, die mit dem taktilen System verbunden sind, werden aktiviert, gefolgt von denen, die mit dem auditorischen System verbunden sind“, präzisiert die Forscherin.
Eine Technologie in Entwicklung
Derzeit sind die Handschuhe nicht transportabel, da sie an externe Geräte angeschlossen sind. Das Forschungsteam erhielt jedoch einen Zuschuss aus dem Fonds Nouvelles frontières en recherche, um die Handschuhe tragbar zu machen. Die Herausforderung besteht darin, die Komponenten, wie etwa die Lautsprecher, zu miniaturisieren und die Handschuhe mit Energie zu versorgen, beispielsweise mit einer Batterie.
Irgendwann könnten die Handschuhe direkt mit dem Smartphone verbunden werden, wie es bei den meisten Hörgeräten der Fall ist. „Der Umgebungsschall würde über ein Mikrofon aufgenommen, entweder das des Hörgeräts oder das des Mobiltelefons, das Signal würde dann verarbeitet, um Umgebungsgeräusche zu entfernen, und an die Handschuhe gesendet werden.“ Dasselbe Prinzip könnte zum Anhören von Videos oder Telefongesprächen dienen.
Der aktuelle Prototyp kann das Signal nicht in seiner Gesamtheit übertragen, da unsere Finger nicht so viele Tonfrequenzen wahrnehmen wie unsere Ohren. Hohe Töne, also hohe Frequenzen, gehen verloren. Das ist laut Professorin Sharp nicht problematisch, da die grundlegende Information zur Erkennung von Klängen, wie Stimmen oder einem Musikinstrument, in einem wahrnehmbaren Frequenzbereich liegt. Algorithmen zur Signalverarbeitung könnten jedoch die Information von hohen Tönen in niedrigere Frequenzen umwandeln, und das Forschungsteam muss testen, ob die Leistung tatsächlich verbessert wird.
Quelle: Université Laval