MobilfunkTalk Folge 17: Forschungsprojekt – Avatar übersetzt in Gebärdensprache

Shownotes

Moderator Hannes Rügheimer spricht mit Marcus Veigel, Geschäftsführer der Firma Cynapsis Interactive GmbH – eines der Konsortialpartner beim Projekt GIGA Gebärdensprache (https://5g.nrw/best-practice/giga-gebaerdensprache).

Das Projekt hat erforscht, ob es mithilfe Künstlicher Intelligenz gelingen kann, automatisiert zwischen Deutscher Gebärdensprache (DGS) und Deutsch zu übersetzen. Dazu erfasst eine Smartphone-Kamera die Eingabe in Gebärdensprache. Auch die Kommunikation in der Gegenrichtung wurde erforscht: Der von der KI übersetzte Text des Sprechenden soll per Avatar in einer Smartphone-App in Gebärdensprache dargestellt werden.

Das Forschungsprojekt ist mittlerweile abgeschlossen und brachte viele Erkenntnisse: Mit Handbewegungen, Gestik, Mimik und Körperhaltung gibt es vier Informationskanäle, die bei der Visualisierung von Gebärdensprache eine Rolle spielen. Deshalb ist die Erfassung des Inputs von Gebärdenden komplex: selbst zwei Kameras reichen dafür oft nicht aus – benötigt wird zum Teil Motion Capturing, wie es sonst für Special-Effects-Produktionen in Hollywood-Filmen zum Einsatz kommt.

Weitere Erkenntnisse: Bei den Darstellungen via Avatar können Mimik und Gestik kaum zu übertrieben dargestellt werden, um deutlich erkennbar zu sein. Die Aufbereitung der Visualisierung muss auf starken Servern in der Cloud erfolgen. Bei der Aufgabe, die Ergebnisse dieser KI-Berechnungen wieder zurück auf Smartphones und PCs zu transportieren, bewährte sich der 5G-Mobilfunkstandard.

Nun stellt sich die Frage, wie ein Betrieb der in dem Forschungsprojekt entwickelten Lösungen dauerhaft aussehen könnte. Hierfür suchen die Konsortialpartner ein Betreibermodell, dass die Finanzierung der Cloud-Systeme und aller weiteren benötigten Komponenten nachhaltig sicherstellt.

Weitere Informationen zum Projekt: https://giga-gebaerdensprache.cynapsis.io

Neuer Kommentar

Dein Name oder Pseudonym (wird öffentlich angezeigt)
Mindestens 10 Zeichen
Durch das Abschicken des Formulars stimmst du zu, dass der Wert unter "Name oder Pseudonym" gespeichert wird und öffentlich angezeigt werden kann. Wir speichern keine IP-Adressen oder andere personenbezogene Daten. Die Nutzung deines echten Namens ist freiwillig.