Automatische Spracherkennung und -übersetzung: Schnelleres Arbeiten und Lernen
Forschende am KIT entwickeln intelligentes Spracherkennungs- und Übersetzungssystem weiter: automatische Textsegmentierung, Zusammenfassung und intelligente Abfrage möglich
Automatische Spracherkennungs- und Übersetzungssysteme wie der Lecture Translator des Karlsruher Instituts für Technologie (KIT) können das Gesprochene in Vorträgen oder Vorlesungen in Echtzeit in einen Text in mehreren Sprachen umwandeln. Damit verbessern solche Systeme den Zugang zu Informationen für Studierende mit Behinderungen und ausländische Studierende. Sie fördern aber auch allgemein ein schnelleres Arbeiten und Lernen durch eine intelligente Nachbereitung und Archivierung von gesprochenen Texten.
Um dies weiter voranzutreiben, haben Forschende des KIT den Lecture Translator um neue Funktionen erweitert. Automatische Erkennung des Gesprochenen in mehreren Sprachen gleichzeitig, Textsegmentierung und Titelgenerierung in Echtzeit, Zusammenfassungen und Verlinkungen zu Fachbegriffen und Abfragen des Gehörten vereinfachen nun das Verstehen und effiziente Aufarbeiten von Vorlesungen.
„Mit der automatischen Simultanübersetzung des Lecture Translators haben wir gesprochene Vorträge einem internationalen Publikum nähergebracht. Dieses macht aber in der Regel nur 15 Prozent der Zuhörerschaft aus. Mit den neuen KI-Werkzeugen wollen wir nicht nur Sprach-, sondern auch Verständnisbarrieren abbauen“, sagt Alexander Waibel, Professor für Informatik am KIT.
„Oft sind automatisch transkribierte Texte von gesprochener Sprache schwer zu lesen, da sie zu schnell fortlaufend ohne Absätze und Zwischenüberschriften als langer Text erscheinen – eben genau so, wie der Vortrag oder die Vorlesung mündlich vorgetragen wurde“. Auch die Aufarbeitung der Vorlesung sei mühsam, da man die Vorlesung nach Verständnislücken durchsuchen müsse, so Waibel.
Bessere Übersicht in Dokumenten
Die Weiterentwicklung des Lecture Translators schafft hier Abhilfe. Die Forschenden haben mehrere neue automatische Funktionen wie „Smart Chaptering“, Summarization“, „Q&A“ oder „Auto-Links“ entwickelt. Dabei verwandelt eine neuartige Künstliche Intelligenz (KI), die automatisch die Sprache erkennt, den gesprochenen Text in ein Transkript in mehreren Sprachen und identifiziert automatisch Absätze, Kapitelüberschriften sowie wichtige Kernpunkte.
Darüber hinaus erstellt sie eine akustische Wiedergabe, bei der Nutzerinnen und Nutzer eine von 18 Sprachen auswählen können. Außerdem zeigt das Programm automatisch Links als Querverweise zu relevanten Quellen in Vorlesungsskripten oder Wikipedia an, mit deren Hilfe die Studierenden die Vorlesung besser aufarbeiten können. „Mit unseren neuen KI-Modellen können Gespräche und Vorlesungen besser strukturiert und sogar Videos in leicht navigierbare Kapitel eingeteilt werden“, so Waibel. Somit sei ein besseres Verständnis nicht nur während, sondern auch nach der Vorlesung möglich.
Lecture Translator übersetzt in 18 Sprachen
Die Arbeiten hat das Forschungsteam in den Lecture Translator integriert, mit dem am KIT Vorlesungen in Echtzeit automatisch transkribiert werden. Kapiteleinteilung, Titelgenerierung, Absatzgestaltung, Zusammenfassungen mit Verlinkungen – auch jeweils online und offline anwendbar – erweitern nun den Service des Lecture Translators und vereinfachen die Arbeit mit dem Material.
Die Übersetzung erfolgt in 18 Sprachen. Konkrete Anwendungsmöglichkeiten findet die Technologie für Content Creator, Studierende, Lehrende und Podcaster, die ihre Audio- und Videoinhalte erstmals strukturieren können. „Nutzerinnen und Nutzer können effizienter durch Videos und Vorträge navigieren, relevante Abschnitte schneller finden und wichtige Kerninhalte kompakt und effizient erfassen – sie haben insgesamt eine viel bessere grobe Übersicht sowie schnelleren Zugriff auf die Details“, sagt Waibel.
Die Forschung fand im Projekt „How is AI Changing Science?“ statt und wurde für vier Jahre von der Volkswagenstiftung gefördert. Projektbeteiligte waren neben dem KIT die Universität Bonn sowie die Universität Wien.
Details zum KIT-Zentrum Information · Systeme · Technologien
Als „Die Forschungsuniversität in der Helmholtz-Gemeinschaft“ schafft und vermittelt das KIT Wissen für Gesellschaft und Umwelt. Ziel ist es, zu den globalen Herausforderungen maßgebliche Beiträge in den Feldern Energie, Mobilität und Information zu leisten. Dazu arbeiten rund 10 000 Mitarbeiterinnen und Mitarbeiter auf einer breiten disziplinären Basis in Natur-, Ingenieur-, Wirtschafts- sowie Geistes- und Sozialwissenschaften zusammen. Seine 22 800 Studierenden bereitet das KIT durch ein forschungsorientiertes universitäres Studium auf verantwortungsvolle Aufgaben in Gesellschaft, Wirtschaft und Wissenschaft vor.
Die Innovationstätigkeit am KIT schlägt die Brücke zwischen Erkenntnis und Anwendung zum gesellschaftlichen Nutzen, wirtschaftlichen Wohlstand und Erhalt unserer natürlichen Lebensgrundlagen. Das KIT ist eine der deutschen Exzellenzuniversitäten.
Bild Mit neuen Funktionen wie automatischer Kapiteleinteilung und Zusammenfassungen bietet der Lecture Translator eine verbesserte Spracherkennung. (Foto: Markus Breig, KIT)
Quelle Karlsruher Institut für Technologie (KIT)
Berlin (dts Nachrichtenagentur) – Der Grünen-Geheimdienstexperte Konstantin von Notz sieht die Ermittlungen zur Sabotage an den Nord-Stream-Pipelines trotz der Suche nach einem konkreten Verdächtigen längst nicht für abgeschlossen.
Frankfurt/Main (dts Nachrichtenagentur) – Der Dax hat sich am Mittwoch nach einem bereits freundlichen Start bis zum Mittag im grünen Bereich gehalten. Gegen 12:40 Uhr wurde der Index mit rund 17.895 Punkten berechnet. Dies entspricht einem Plus von 0,5 Prozent gegenüber dem vorherigen Handelstag.
Berlin (dts Nachrichtenagentur) – Im laufenden Haushaltsstreit ist die Bundesregierung nach eigenen Angaben weiterhin „optimistisch“, dass man „im Zeitplan“ eine Einigung erzielen wird. Es gebe „weiterhin gute und vertrauensvolle Gespräche“, sagte der stellvertretende Regierungssprecher Wolfgang Büchner am Mittwoch in Berlin.
Bangkok (dts Nachrichtenagentur) – Das thailändische Verfassungsgericht hat Ministerpräsident Srettha Thavisin wegen Verstößen gegen die Verfassung bei der Ernennung eines Kabinettsmitglieds aus dem Amt entfernt.
Köln (dts Nachrichtenagentur) – Die Bundeswehrkaserne in Köln-Wahn ist einem Medienbericht zufolge am Mittwochmorgen komplett abgeriegelt worden. Hintergrund sei der Verdacht auf eine Sabotageaktion, berichtet der „Spiegel“.
London (dts Nachrichtenagentur) – Der Anstieg der Verbraucherpreise in Großbritannien hat sich zuletzt wieder beschleunigt. Die jährliche Inflationsrate lag im Juli 2024 bei 2,2 Prozent, teilte die britische Statistikbehörde am Mittwoch in London mit. Im Juni waren es 2,0 Prozent.
Berlin (dts Nachrichtenagentur) – Nach den Olympischen Spielen in Frankreich und der Fußball-EM in Deutschland hat die Gewerkschaft der Polizei (GdP) ein 14-Punkte-Programm für eine stärkere Polizei in Europa vorgelegt. In dem Papier, über das die Zeitungen des „Redaktionsnetzwerks Deutschland“ berichten, wird die künftige EU-Kommission aufgefordert, Polizei und Innere Sicherheit zur Chefsache zu machen.
Karlsruhe (dts Nachrichtenagentur) – Ein zuletzt in Polen lebender ukrainischer Tauchlehrer steht im Verdacht, einer der Täter des Anschlags auf die beiden Nord-Stream-Pipelines zu sein. Wie die „Süddeutsche Zeitung“, die ARD, und die „Zeit“ berichten, hat der Generalbundesanwalt im Juni einen Europäischen Haftbefehl gegen den Mann beantragt. Polnische Behörden konnten den Mann jedoch bislang nicht festnehmen.
Erfurt (dts Nachrichtenagentur) – Thüringens Ministerpräsident Bodo Ramelow (Linke) spricht sich im Falle eines Waffenstillstandes für eine Beteiligung deutscher Soldaten an einer möglichen UN-Mission in der Ukraine aus.