Sie haben es geschafft, menschliche Gedanken in Sprache zu übersetzen: US-amerikanische Forscher veröffentlichten einen Report, der im Bereich Neuroengineering einen Meilenstein darstellt. Die Technologie ist die gleiche wie bei Alexa und Siri.
Gestern wurde ein Report veröffentlicht, in dem Neuroingenieure vom Zuckerman Institute der Columbia University erklären, wie man Gedanken in verständliche Sprache übersetzen kann.
Die entwickelte Technologie ist dazu in der Lage, die Gehirnaktivität zu verfolgen und die Wörter, die eine Person hört, zu rekonstruieren. Diese neu erworbene Kompetenz könnte neue Wege der direkten Kommunikation zwischen Computern und dem Gehirn ermöglichen. Darüber hinaus könnte dieser Ansatz die Therapie von Menschen, die nicht sprechen können, revolutionieren. Patienten, die an amytropher Lateralsklerose (ALS) erkranken oder einen Schlaganfall überstanden haben, könnten mithilfe der Technologie leichter mit anderen Menschen kommunizieren.
Erfolgsformel: Vocoder statt Spektrogramm
Jahrzehntelang wird bereits auf diesem Gebiet geforscht. In frühen Versuchen, Gehirnsignale zu decodieren, arbeiteten Forscher mit Spektrogrammen, also der bildlichen Darstellung des Frequenzspektrums eines Signals. Diese Technik blieb allerdings erfolglos, sie brachte keine intelligiblen Sprachaufnahmen hervor. Dr. Mesgarani und sein Team versuchten es deshalb mit einem Vocoder. Auf Basis von Computeralgorithmen, die auf menschliche Sprachaufnahmen trainiert wurden, gelang es, Sprache zu synthetisieren.
Wenn Menschen sprechen oder sich auch nur vorstellen, zu sprechen, werden bestimmte Aktivitätsmuster im Gehirn sichtbar. Auch wenn wir jemandem beim Sprechen zuhören oder uns diese Situation vorstellen, sind bestimmte Signale erkennbar. Auf diesen Daten wollte das Forscherteam aufbauen.
Sprachassistenten als Vorbild
Dabei orientierten sich die Wissenschaftler an modernen sprachgesteuerten Assistenzsystemen, erklärt Mesgarani: „Es ist die gleiche Technologie, die auch bei Amazon Echo oder Apple Siri zum Einsatz kommt, um mithilfe von Sprache auf unsere Fragen zu antworten.“
Um dem Vocoder beizubringen, Gehirnaktivitäten richtig zu interpretieren, wurde Dr. Mehta als Experte ins Team geholt. Der Neurochirurg behandelt Epilepsie-Patienten, von denen manche in regelmäßigen Abständen chirurgischen Eingriffen unterzogen werden müssen. Bei diesen Patienten wendeten die Forscher ein invasives EEG an: Sie baten Epilepsie-Patienten, sich gesprochene Sätze von verschiedenen Personen anzuhören und maßen währenddessen mittels Elektrokortikografie die neuralen Muster der Gehirnaktivität, erklärt Mesgarani. Im nächsten Schritt sollten die Patienten Sprechern zuhören, die Ziffern zwischen 0 und 9 aufsagten. Auch hier wurden währenddessen die Gehirnsignale aufgenommen und vom Vocoder analysiert.
Die Geräusche, die der Vocoder als Antwort auf diese Signale produzierte, wurden im Anschluss von neuralen Netzwerken – eine Form der künstlichen Intelligenz, die Strukturen von Neuronen im Gehirn imitiert – bereinigt.
Die dadurch erzielten Ergebnisse (hier zu hören) sind unvergleichlich klar im Gegensatz zu allen bisherigen, die mithilfe von Spektrogrammen erzielt werden konnten, sagt Mesgarani: „Zuhörer konnten die Geräusche in 75 Prozent der Fälle richtig verstehen und wiedergeben.“
Hochgesteckte Ziele
Als nächstes will die Forschergruppe kompliziertere Wörter und Sätze testen. Außerdem sollen die gleichen Tests auch an Gehirnsignalen durchgeführt werden, die entstehen, wenn eine Person spricht oder sich vorstellt, zu sprechen.
Die Zukunftsvision der Wissenschaftler: ein Implantat, in dem das neue Sprachsystem eingebaut ist und das die Gedanken seines Trägers in Wörter übersetzt. „In diesem Szenario könnte das System, wenn sein Träger denkt ‚Ich brauche ein Glas Wasser‘, sofort reagieren und die generierten Gehirnsignale in synthetisierte gesprochene Sprache umwandeln. Das wäre ein Game Changer. Jeder Mensch, der seine Fähigkeit zu sprechen verloren hat, ob durch Verletzung oder Krankheit, könnte auf diese Weise eine neue Chance bekommen, sich mit der Welt um ihn herum auszutauschen“, so Mesgaranis Vision.
Bildquelle: Mikes Photos, pexels