Historische Kleidung mittels KI in Virtual Reality erleben

Unter der Koordination von World of VR kooperieren die Computer Graphics Group und das Cologne Game Lab der TH Köln sowie die Professur für Kulturwissenschaft der Mode und des Textilen der Universität Paderborn in einem interdisziplinären Forschungsteam eng miteinander. Gefördert wird das Projekt durch den Europäischen Fonds für regionale Entwicklung (EFRE) und das Land Nordrhein-Westfalen im Rahmen von NEXT.IN.NRW.

Kleidung ist zwar alltäglich, zugleich aber auch hochkomplex: Sie prägt Identität, vermittelt soziale Zugehörigkeit und spiegelt gesellschaftliche sowie kulturelle Entwicklungen wider. Historische Kleidungsstücke sind heute allerdings nur eingeschränkt erfahrbar. Viele Objekte sind fragil, dürfen nicht mehr getragen werden oder sind nicht vollständig erhalten. Im Forschungsprojekt „HistoVeaR“ entwickelt ein interdisziplinäres Forschungsteam neue digitale Verfahren, um historische Kleidung realistisch zu rekonstruieren, zu simulieren und in Virtual Reality zugänglich zu machen, sowie digital rekonstruierte Kleidungsstücke für Anwendungen in Games und VFX aufzubereiten.

„Kleidung entfaltet ihre Wirkung erst im Zusammenspiel mit dem menschlichen Körper – durch Bewegung, Materialverhalten und Form“, sagt Prof. Dr. Kerstin Kraft von der Kulturwissenschaftlichen Fakultät für Kulturwissenschaften der Universität Paderborn. „Genau diese Dimension geht in Museen, aber auch in digitalen Produktionen wie Spielen oder Filmen häufig verloren.“ Ziel des Projekts HistoVeaR sei es daher, historische Kleidungsstücke auf Basis von Originalobjekten als digitale Zwillinge umzusetzen, die sich in Echtzeit bewegen, physikalisch korrekt reagieren und interaktiv genutzt werden können.

Im Mittelpunkt des Vorhabens steht die Konzeption und Umsetzung eines durchgängigen Prozesses, welcher die kontaktlose Digitalisierung, KI-gestützte Simulation und Animation historischer Kleidung ermöglicht. Dabei sollen nicht nur Schnitt und Optik, sondern auch Materialeigenschaften wie Gewicht, Steifigkeit oder Faltenwurf realitätsnah abgebildet werden. „Eine besondere Herausforderung stellt die Kollisionserkennung dar – also das realistische Zusammenspiel zwischen Körper und Kleidung sowie zwischen mehreren Stofflagen, etwa bei Unterkonstruktionen oder mehrteiligen Gewändern“, so Prof. Dr. Arnulph Fuhrmann vom Institut für Medien- und Phototechnik der TH Köln.

Benutzer*innenfreundliches Toolset für kreative Industrien

Das Vorhaben wird vom Kölner XR – Unternehmen World of VR, der TH Köln gemeinsam mit der Universität Paderborn umgesetzt, welche die textile und kulturhistorische Expertise einbringt und unter anderem die originalen Kleidungsstücke auswählt, Schnittmuster erstellt sowie die Grundlage für die digitale Rekonstruktion legt. Weiterer Projektpartner ist die World of VR GmbH. Diese entwickelt ein modulares, kontaktloses Scansystem sowie ein 3D-Scanverfahren zur Erfassung von Geometrie, Oberflächenstruktur und Farbigkeit der Kleidungsstücke sowie der dazugehörigen Avatare. An der TH Köln wird ein echtzeitfähiges, KI-basiertes Simulations-, Anpassungs- und Animationssystem entstehen, das die Integration der digital erfassten Kleidung in VR-, Spiele- und Filmumgebungen ermöglicht.

„Mit HistoVeaR wollen wir einen Beitrag dazu leisten, kulturelles Erbe besser zugänglich zu machen und gleichzeitig neue Werkzeuge für kreative Industrien bereitstellen“, erklärt Prof. Björn Bartholdy vom Cologne Game Lab der TH Köln. „Das geplante System soll flexibel einsetzbar sein und qualitativ hochwertige Ergebnisse bei möglichst geringem manuellem Aufwand ermöglichen – für potenzielle Nutzer*innen also niedrigschwellig anwendbar sein.“ In einem Museum könnten sich Besucher*innen beispielsweise mit Hilfe einer VR-Brille in einer virtuellen Simulationsumgebung historische Kleidungsstücke anziehen, sich im Spiegel ansehen und im Raum bewegen, wie Fuhrmann weiter erläutert.

Über das Projekt

Das Forschungsprojekt „KI-rekonstruierte historische Kleidung in Virtual Reality für Museen, Spiele und Filmproduktionen“ (HistoVeaR) wird unter der Konsortialleitung des Kölner Mixed Reality Spezialisten World of VR GmbH realisiert (Projektleitung: Tobias Kemper). Zum Konsortium gehören Prof. Dr. Arnulph Fuhrmann vom Institut für Medien- und Phototechnik, Prof. Björn Bartholdy vom Cologne Game Lab – beide an der TH Köln und Prof. Dr. Kerstin Kraft von der Fakultät für Kulturwissenschaften der Universität Paderborn.

Das Vorhaben wird im Rahmen des Innovationswettbewerbs „NEXT.IN.NRW“ vom Ministerium für Wirtschaft, Industrie, Klimaschutz und Energie des Landes Nordrhein-Westfalen bis Ende Mai 2028 mit rund 1,5 Millionen Euro gefördert und von der Europäischen Union kofinanziert.