Creating volumetric data from single viewpoint stereoscopic image sets with machine learning

Mit dem fortschreitenden Alter der Zeitzeugen des Holocausts sinkt die Zahl derer, die im Stande sind, persönlich von ihren Erlebnissen zu berichten. Um die Möglichkeit, von Angesicht zu Angesicht mit einem Zeitzeugen zu reden, für die Zukunft zu bewahren, schufen die Didaktik der Deutschen Sprache und Literatur sowie die Politische Bildung und Didaktik der Sozialkunde der Ludwig-Maximilians-Universität München das Projekt "Lernen mit digitalen Zeugnissen" (LediZ). In Kooperation mit dem Forever Project und dem Leibniz-Rechenzentrum (LRZ) wurden zwei Zeitzeugen, Abba Naor und Eva Umlauf, im Winter 2018/19 interviewt und dabei stereoskopisch aufgezeichnet. Die aufbereiteten Daten und die daraus entstandene Anwendung werden an der 3D-Powerwall des LRZ als Pilotprojekt gehostet. Durch Einbindung einer Spracherkennungssoftware ist es Besuchern möglich, Fragen zu stellen, welche mit der geeignetsten Videosequenz beantwortet werden und dem Fragensteller somit das Gefühl einer direkten Konversation vermittelt.

Neue Arbeiten und Erkenntnisse im Bereich des Machine Learning werfen die Frage auf, welche zusätzliche Informationen und Perspektiven sich aus den aufgezeichneten Daten errechnen lassen. Die Besonderheit des Datensatzes ist, dass alle Aufnahmen von zwei leicht versetzten Kameras (Stereoskopie) von der immer gleichen Position und Ausrichtung aufgezeichnet wurden. Weiterhin herrscht wenig Variation in den Körperhaltungen der aufgezeichneten Menschen, sodass sich Erkenntnisse für einzelne Videos gut auf die restlichen Videos übertragen lassen. Ebenso sind Lösungsstrategien zum Ausgleich der fehlenden Kameraperspektiven zu erarbeiten.

Überblick der (möglichen) Aufgaben:

  1. Ausführliche Literaturrecherche sowie Ableitung relevanter Forschungsfragen
  2. Erstellen, Verfeinern und Anlernen neuraler Netzwerke
  3. Generieren volumetrischer Objekte auf Basis der angelernten Netzwerke
  4. Kritische Auswertung der Ergebnisse vor dem Hintergrund der zuvor gestellten Forschungsfragen
  5. Mögliche Ableitung von Handlungsempfehlungen auf Basis der Forschungsergebnisse

Zusätzliche Informationen:

  1. NeRF
  2. PIFHuD
  3. LediZ
  4. LediZ auf 3sat

Aufgabensteller:
Prof. Dr. D. Kranzlmüller

Dauer der Arbeit:

Anzahl Bearbeiter: 1

Betreuer:



Last Change: Mon, 11 Dec 2023 07:33:30 +0100 - Viewed on: Wed, 24 Apr 2024 15:48:57 +0200
Copyright © MNM-Team http://www.mnm-team.org - Impressum / Legal Info  - Datenschutz / Privacy