Benchmarking Post-Training Quantization for Optimizing Machine Learning Inference on compute-limited Edge Devices

In den letzten Jahren hat die Edge-KI, d.h. die Übertragung der Intelligenz von der Cloud in Edge-Geräte wie Smartphones und eingebettete Systeme an großer Bedeutung gewonnen. Dies erfordert optimierte Modelle für maschinelles Lernen (ML), die auf Computern mit begrenzter Rechenleistung funktionieren können. Die Quantisierung ist eine der wesentlichen Techniken dieser Optimierung. Hierbei wird der Datentyp zur Darstellung der Parameter eines Modells verändert. In dieser Arbeit wurde die Quantisierung untersucht, insbesondere die Quantisierungstechniken nach dem Training, die in TensorFlow Lite (TFLite) verfügbar sind. Ein auf dem MNIST- Datensatz trainiertes Bildklassifizierungsmodell und ein auf dem Cityscapes-Datensatz trainiertes semantisches Segmentierungsmodell wurden für die Durchführung von Experimenten eingesetzt. Für das Benchmarking wurde die Inferenz auf zwei Hardware-unterschiedlichen CPU-Architekturen ausgeführt, und zwar auf einem Laptop und einem Raspberry Pi. Für das Benchmarking wurden Metriken wie Modellgröße, Genauigkeit, mittlere Schnittmenge über Vereinigung (mIOU) und Inferenzgeschwindigkeit gehandhabt. Sowohl für Bildklassifizierungs- als auch für semantische Segmentierungsmodelle zeigten die Ergebnisse eine erwartete Verringerung der Modellgröße, wenn verschiedene Quantisierungstechniken angewendet wurden. Genauigkeit und mIOU haben sich in beiden Fällen nicht wesentlich von der des Originalmodells geändert. In einigen Fällen führte die Anwendung der Quantisierung sogar zu einer Verbesserung der Genauigkeit. Dabei hat sich die Inferenzgeschwindigkeit bezüglich des Bildklassifizierungsmodells adäquat verbessert. In einigen Fällen erhöhte sich die Inferenzgeschwindigkeit auf Raspberry Pi sogar um den Faktor 10.

Kolloqium: 02.03.2021

Betreuer: Prof. Dr.-Ing. Jochen Heinsohn, Abhishek Saurabh (MSc) Volkswagen Car.Software Organization, Dipl. Inform. Ingo Boersch

Download: A1-Poster, Bachelorarbeit