Neue Technologie hilft Hörgeschädigten

Ein internationales Team von Ingenieuren und Informatikern hat eine neue Technologie entwickelt, die Hochfrequenz Sensorik, KI und traditionelle Hörgeräte miteinander kombiniert, um Lippenbewegungen zu erkennen. Dies könnte es Menschen ermöglichen, Lip-Reading zu betreiben, selbst wenn sie Masken tragen. Die Technologie würde auch helfen, den häufigen "Cocktailparty-Effekt" zu bekämpfen, bei dem herkömmliche Hörgeräte es schwermachen, sich auf bestimmte Geräusche zu konzentrieren.

Die "intelligente" Hörgeräte-Technologie wird künftig die herkömmliche Audioverstärkung mit einem zweiten Gerät kombinieren, um zusätzliche Daten für eine bessere Leistung zu sammeln.

Was in früheren Versuchen, bei denen Kameras zum Lippenlesen eingesetzt wurden, Probleme mit der Privatsphäre, wie auch dem Datenschutz, aufwarfen und zudem nicht mit Masken funktionierten, ersetzt im heutigen Zeitalter die innovative Sensortechnologie.

In einem neuen Artikel, der in der Fachzeitschrift Nature Communications veröffentlicht wurde, beschreibt das von der Universität Glasgow geleitete Team, wie sich modernste Sensortechnologie zum Lippenlesen einsetzen lässt.

Intelligenten Hörgeräten ist es möglich, Sprache zu verstehen. Diese Technik wahrt die Privatsphäre, indem es nur Hochfrequenzdaten sammelt, ohne begleitendes Videomaterial. Um das System zu entwickeln, starteten die Forscher den Versuch mit männlichen und weiblichen Probanden, die fünf Vokallaute (A, E, I, O und U) zunächst unmaskiert und anschließend mit einer chirurgischen Maske zu wiederholen. Während die Freiwilligen die Vokallaute wiederholten, tasteten ein spezieller Radarsensor und ein Wi-Fi-Sender ihre Gesichter mit Hilfe von Hochfrequenzsignalen ab. Zum Vergleich wurden die Gesichter der Teilnehmer zusätzlich gescannt, während die Lippen sich nicht bewegten.

Anschließend nutzte das Team die 3.600 Datenproben, die während der Scans gesammelt wurden, um Algorithmen für maschinelles Lernen und Deep Learning zu erstellen.

Das Verfahren basiert auf den charakteristischen Lippen- und Mundbewegungen, die mit jedem Vokal verbunden sind.

Da Hochfrequenzsignale die Masken der Probanden leicht durchdringen können, konnten die Algorithmen auch lernen, die Vokalbildung der maskierten Benutzer zu lesen.

Das System erwies sich als fähig, die Lippen der Freiwilligen in den meisten Fällen korrekt zu lesen. Die Lernalgorithmen interpretierten auch Wi-Fi-Daten in bis zu 95 Prozent der Fälle bei unmaskierten Lippen und in 80 Prozent der Fälle bei maskierten Lippen richtig. Radardaten wurden ohne Maske in bis zu 91 Prozent der Fälle und mit Maske in 83 Prozent der Fälle richtig interpretiert.

Hörgerätetechnologie bietet "transformative Vorteile" für Hörgeschädigte

In einer Erklärung sagte der Hauptautor Dr. Qammer Abbasi von der James Watt School of Engineering der Universität Glasgow: "Mit dieser Studie haben wir gezeigt, dass mit Hilfe von Hochfrequenzsignalen Vokallaute auf den Lippen von Menschen genau gelesen werden können, auch wenn der Mund bedeckt ist. Während die Ergebnisse des Lippenlesens mit Radarsignalen etwas genauer sind, zeigten auch die Wi-Fi-Signale eine beeindruckende Genauigkeit.

"Angesichts der Allgegenwärtigkeit und Erschwinglichkeit von Wi-Fi-Technologien sind die Ergebnisse sehr ermutigend, was darauf hindeutet, dass diese Technik sowohl als eigenständige Technologie als auch als Bestandteil künftiger multimodaler Hörgeräte von Wert ist."

Forscher der Universität Glasgow und der Edinburgh Napier University in Großbritannien haben zusammen mit Kollegen der University of Engineering and Technology Lahore, Pakistan, und der Southeast University, Nanjing, China, an der Studie mitgearbeitet.