Sensitivitätsanalyse eines neuronalen Netzes mit Hilfe einer systematischen Teststrategie zur Bestimmung von Grenzfällen

Ein akustikbasiertes Prüfsystem für Steckverbindungen soll auf akustische Einflussfaktoren untersucht werden, um es prozessfähig zu integrieren. In der Vergangenheit wurden einzelne Aspekte der Realumgebung durch Feldtests betrachtet, um das System abzusichern. Ziel dieser Arbeit ist es, eine systematische Teststrategie zur Simulation von Störfaktoren auf das KI-System zu entwickeln, anzuwenden und eine Analyse basierend auf berechneten Ergebnissen durchzuführen, um das Bewertungsverhalten des Systems zu ermitteln und vorhersehbar zu machen.

Die systematische Teststrategie beinhaltet die Modifikation von Eingabedaten für das KI-System und die Erfassung von Veränderungen im Bewertungsverhalten. Für die Modifikation werden Techniken der Signalverarbeitung angewandt, um Varianz in den Daten und Einflussfaktoren auf das System zu simulieren. Techniken wie Frequenzfilterung, Tonverschiebung und Interferenz von Stör- und zu bewertenden Geräuschen sind integraler Bestandteil der Modifikationskette. Nachdem eine modifizierte Aufnahme erzeugt wurde, erfolgt eine Bewertung durch das KI-System, welches eine Liste binärer Klassifikationen und zugehörige Konfidenzwerte ausgibt. Zur Generierung analysierbarer Bewertungen wurde ein spezieller Datensatz erstellt, der aus Aufnahmen von Steckverbindungen eines bestimmten Steckertyps und verschiedenen Störgeräuschen besteht.

Die Analyse führte zu einer Rangliste der Störfaktoren, zu den für die KI-Bewertung relevanten Frequenzbereichen und zur Reaktion des Systems auf die Tonverschiebung. Die stärksten Einflussfaktoren waren das Rascheln mit ISO-Clips und einmaliges Händeklatschen. Die wichtigsten Frequenzbereiche für die Bewertung der KI lagen zwischen 4410 bis 6615 und 15434 bis 17640 Hz. Die Reaktion des Systems auf die Tonverschiebung zeigte einen Abfall der Konfidenz, wobei der Abfall bei einer Verschiebung in den hochfrequenten Bereich stärker war. Durch die Analyse konnten Funktionen erstellt werden, die die Reaktion der KI auf verschiedene Einflüsse beschreiben, und somit konnte das Erreichen von Bewertungsgrenzen vorhergesagt werden.

Kolloqium: 26.01.2023

Betreuer: Dipl.-Inform. Ingo Boersch, Prof. Dr.-Ing. Jochen Heinsohn, Philipp Stephan (M.Sc.), Dipl.-Ing. (FH) Marcel Preibisch (Mercedes-Benz AG)

Download: A1-Poster