Kern (VMC)

i. d. R. angeboten alle 2 Semester

Die wichtigsten Methoden moderner Bildverarbeitung verstehen

• Bildverarbeitung mit Deep Learning (Convolutional Neural Networks)
• 3D Bildverarbeitung („von Pixeln zu Metern“)

Anwendungsprobleme mit diesen Methoden lösen können

• Passende Verarbeitungsketten für Anwendungsprobleme entwerfen
• Anwendungsprobleme als Deep Learning Aufgabe formulieren
• Trainingsdaten beschaffen und aufbereiten
• Dreidimensionale geometrische Zusammenhänge in Bildern modellieren
• Deep Learning und 3D Bildverarbeitungssysteme systematisch entwickeln
• Implementierung mit TensorFlow / Keras und OpenCV

.

Bildverarbeitung mit Deep Learning.

All die folgenden Inhalte werden in ihrer formalen Definition, aber auch in einem intuitiven Verständnis für die Idee dahinter, die Bedeutung im Gesamtthema und die Interaktion mit anderen Inhalten vermittelt.

• Paradigmen „analytisch entwickelt“ vs. „maschinell gelernt“
• Die Architektur von künstlichen neuronalen Netzen die Bilder verarbeiten („Big Picture“ - Überblick noch ohne die Details, die später folgen)
• Formen der Ausgabe: Klassifizierung, Semantic Segmentation, Heatmap, Boundingboxes, Objekt-Id pro Pixel, applikationsabhängige Werte
• Schichten: Convolution, Aktivierung, Pooling, Unpooling, Fully Connected
• Losses: Absoluter, quadratischer, relativer Fehler, Maximum-Likelihood, Crossentropy, Gewichtungen, Kombination mehrerer Losses
• Optimierung durch Gradientenabstieg, Sicht eines Netzes mit Loss als Graph von Tensoroperationen, Tensorformate, Backpropagation auf solch einem Graphen
• Rezeptives Feld als Architekturkenngröße
• Typische CNN-Backbonearchitekturen und ihre Nutzung im „pretrained“-Ansatz
• Decoder-Encoder Architektur für Bilder als Ausgabe, Bedeutung der Querverbindungen
• Objekterkennung: Ausgabeform für Boundingboxen, one-shot vs. two-shot Ansatz
• Vorgehen bei der Datenbeschaffung und Aufbereitung
• Vorgehen bei der Entwicklung und Evaluation von Deep Learning Bildverarbeitungssystemen
• Mediale Anwendungen von Deep Learning, besonders zur Bildgenerierung
• Generative Adversarial Networks (die Grundidee)

3D – Bildverarbeitung

• Paradigma von „Pixeln zu Metern durch Gleichungslösen“
• Punktfeatures
• Kameragleichung
• Geometrische Rekonstruktion (welche 3D Eigenschaften lassen sich aus wie vielen 2D Punktpaaren rekonstruieren)
• Quadratische Ausgleichsrechnung als generischer algorithmischer Ansatz dafür geometrische Rekonstruktion
• Partikelfilter für zeitliche Abläufe, Rolle der Bildverarbeitung als Messmodell darin

Lehrveranstaltung(en):

• 03-IMAP-D3BV Deep-Learning- und 3D-Bildverarbeitung

• MIT 6.S191, Introduction to Deep Learning, http://introtodeeplearning.com
• Ian Goodfellow, Yoshua Bengio, Aaron Courville, Deep Learning, MIT Press, 2016 (http://www.deeplearningbook.org)
• Richard Hartley, Andrew Zisserman, Multiple View Geometry in Computer Vision (https://www.robots.ox.ac.uk/~vgg/hzbook/)
• Richard Szeliski, Computer Vision and Applications, Springer 2010 (http://szeliski.org/Book/, Computer Vision vor der Deep Learning Revolution)