Künstliche Intelligenz für Medienarchive

FH St. Pölten entwickelt neues Interface für die Recherche in audiovisuellen Archiven

Hallo, ich bin Taylor! (Grafik: FH St. Pölten)

St. Pölten (pts010/31.01.2023/09:30)

Forscher*innen der Fachhochschule St. Pölten entwickelten im Projekt "TailoredMedia" ein Interface zu einer Künstlichen Intelligenz, die bei der Beschlagwortung großer Medienarchive und der Suche darin unterstützen kann. Journalist*innen und Wissenschafter*innen haben damit in Zukunft ein intuitives Werkzeug für ihre Recherchen zur Verfügung.

Umgang mit Datenmengen vereinfachen

Audiovisuelle Archive werden immer wichtiger für wissenschaftliche und journalistische Recherchen. Um die enorme Menge von Videoinhalten als Teil des kulturellen Erbes zu archivieren und weitere Nutzungen zu ermöglichen, müssen die Inhalte bestmöglich beschrieben werden. Dazu ist eine gute und umfassende Beschlagwortung der Daten notwendig. Aufgrund der Zunahme der Datenmenge stößt die händische Beschlagwortung schon seit längerem an ihre Grenzen. Forscher*innen der FH St. Pölten, Redlink und der JOANNEUM RESEARCH arbeiteten im Projekt "TailoredMedia" an einer Künstlichen Intelligenz zur Unterstützung von Beschlagwortung großer Medienarchive und der Suche darin.

"Mit TailoredMedia möchten wir Mitarbeiter*innen von Medienarchiven, die die Beschlagwortungen durchführen bzw. für diese verantwortlich sind, sowie Journalist*innen und Wissenschaftlicher*innen, die in den Archiven recherchieren, unterstützen. Die Aufgabe unseres Human Computer Interaction Teams an der FH St. Pölten, war es, ein benutzer*innenzentriertes und intuitives Interface zur Künstlichen Intelligenz zu entwickeln", sagt Peter Judmaier, Projektleiter (Institut für Creative\Media/Technologies) und stv. Forschungsgruppenleiter Forschungsgruppe Media Computing.

"Das Projekt verfolgte zwei verbundene Ziele: Auf der einen Seite die Entwicklung von leistungsfähigen Methoden der Künstlichen Intelligenz zur automatischen Beschlagwortung von audiovisuellen Inhalten, auf der anderen Seite die benutzer*innenzentrierte Umsetzung von Userinterfaces, um mit der großen, automatisch generierten Datenmenge zielgerichtet umgehen zu können. Die Nutzer*innen-Evaluierungen haben gezeigt, dass im Projekt beides sehr gut gelungen ist", erklärt Georg Thallinger, Koordinator des Projekts (DIGITAL - Institut für digitale Technologien, JOANNEUM RESEARCH).

Schnittstelle zwischen Mensch und Maschine geschaffen

Die Aufgabe der Forscher*innen der FH St. Pölten bestand darin, die audiovisuellen Daten der Archive als Ausgangspunkt für einen benutzerzentrierten Gestaltungsprozess nutzen, um eine intuitive Schnittstelle für die Bearbeitung und das Suchen der Archiv-Nutzer*innen zu schaffen.

"Die größte Herausforderung bestand für uns und damit auch aus der Sicht der Nutzer*innen, in der Kontrolle der von der KI durchgeführten Beschlagwortung. Da eine KI in anderen Kategorien 'denkt' als ein Mensch, brauchte es eine gemeinsame Ontologie, also eine gemeinsame Beschreibungslogik für die Nachvollziehbarkeit und Verbesserung der Ergebnisse", erklärt Judmaier.

Mit Taylor schneller recherchieren

Um diese Herausforderungen zu bewältigen, entwickelte das Projektteam eine Personalisierung der KI mit dem Namen "Taylor". Taylor bezieht die Nutzer*innen ein, erklärt, wie Ergebnisse zustande kommen und lässt mit sich auch über die Ontologie verhandeln.

"Damit ist nicht nur nachvollziehbar, ob Taylor einen Begriff richtig versteht, überhaupt kennt oder sich in der passenden Medienkategorie befindet, sondern es lassen sich auch etwaige Missverständnisse einfach beheben. Diese Art der 'Metakommunikation' macht die Grenzen der KI für die Nutzer*innen verständlich und beschleunigt deren Recherchen", freut sich Judmaier.

Über "TailoredMedia"
TailoredMedia - Tailored and Agile enrIchment and Linking fOR sEmantic Description of multiMedia - erforscht und entwickelt Methoden für die automatische Analyse audiovisueller Inhalte auf der Basis von künstlicher Intelligenz (KI). Das Projekt wird von JOANNEUM RESEARCH koordiniert und zusammen mit dem ORF, der Österreichischen Mediathek sowie Redlink durchgeführt. JOANNEUM RESEARCH und Redlink zeichnen für die Künstliche Intelligenz sowie die technische Umsetzung verantwortlich. Der ORF und die österreichische Mediathek definierten Nutzungsszenarien und lieferten die Daten für das Projekt.

"TailoredMedia" wurde vom Bundesministerium für Klimaschutz, Umwelt, Energie, Mobilität, Innovation und Technologie (BMK) im Rahmen des Programms "IKT der Zukunft" gefördert.

* Projekt-Website: https://www.joanneum.at/digital/referenzprojekte/tailoredmedia

* Demonstrator: https://tailored.media.fhstp.ac.at/: Bitte beachten Sie, dass eine Registrierung erforderlich ist. Alle Informationen dazu finden Sie bei der Eingabemaske.

Aussender:	FH St. Pölten
Ansprechpartner:	Maja Sito
Tel.:	+43 676 847 228 265
E-Mail:	maja.sito@fhstp.ac.at
Website:	www.fhstp.ac.at