Objektdetektion und Instanzsegmentierung im Edge Computing mit DeepStream SDK und Jetson

Die Arbeit untersucht das Deployment vortrainierter Detektoren zur Erkennung von Boundingboxen und pixelgenauen Instanzen auf die Plattform Jetson Nano. Hierzu sind geeignete vortrainierte Netze zu evaluieren, weiter zu trainieren und optimiert auf dem Zielsystem auszuführen. Die Optimierung kann auf dem Trainingsserver oder auf dem Zielsystem stattfinden. Die Detektoren sollen in allen drei Phasen durch sinnvolle Metriken auf einer selbstgewählten Datenmenge evaluiert werden. Die lauffähige Umsetzung eines selbst trainierten Detektors auf dem Jetson Nano ist durch eine einfache Rahmenapplikation mit dem Deepstream SDK im Funktionsnachweis zu demonstrieren. Die besondere Schwierigkeit besteht in der Vielzahl beteiligter Frameworks, wie bspw. DeepStream, Triton, CUDA, gsstreamer, TensorFlow, TensorRT, Django, WSGI, Kafka und anderen sowie der Anwendung fortgeschrittener Modelle des Deep-Learnings, wie YOLO, SSD und Mask R-CNN.

Im Ergebnis konnten die Netze erfolgreich auf dem Deep-Learning-Server der Hochschule weitertrainiert und in verschiedenen Kriterien mit den Originalen verglichen werden. Die Optimierung erfolgte auf dem Trainingsserver und zeigte nur wenig Verbesserungen, beim Deployment auf das eingebettete Systeme wurden verschiedene Probleme mit TensorRT (TF-TRT) festgestellt. Die Rahmenapplikation auf dem Jetson Nano demonstriert ein lokales SSD zur Objektdetektion der COCO-Klassen, dessen Ergebnisse über RTSP- und Kafka bereitgestellt werden.

Kolloqium: 13.04.2021

Betreuer: Dipl.-Inform. Ingo Boersch, Prof. Dr. Sven Buchholz

Download: A1-Poster