(PM) Eschborn, 08.07.2014 - Eine der wesentlichen Herausforderungen bei den Entwicklungs- und Testarbeiten bis zur Serienreife ist die schiere Menge an Testdaten. Grundlage der Qualitätssicherung sind Videodaten, die in umfangreichen Testfahrten gewonnen werden: Alle Situationen, die die Kamera später erkennen soll, gilt es, als Testdaten zu erfassen. Hierzu zählen unter anderem verschiedene Licht- und Sichtverhältnisse (Tag, Nacht, Nebel, Sonne, Wolken), Wetterverhältnisse, Fahrbahnmarkierungen, Schilder sowie andere Fahrzeuge. Neben den Videodaten eines Kamerasystems werden auch Daten anderer Sensoren wie Radar, Geschwindigkeit und GPS gespeichert und verwendet. Da die Fahrzeuge später weltweit vertrieben werden, sind auch vielfältige internationale Faktoren zu berücksichtigen. Letztendlich bedeutet dies, dass für die Qualitätssicherung dieser Systeme Peta Bytes von Videodaten anfallen. Ein Peta Byte entspricht einer Million Giga Bytes! Um hier effizient und sicher zu agieren, ist ein hoher Grad an Automatisierung des gesamten Prozesses erforderlich.

Die Test-Basis: “Automotive Data and Time Triggered Framework“ (ADTF)

Das ursprünglich von Audi entwickelte „Automotive Data and Time Triggered Framework“ (ADTF) ist eine etablierte Entwicklungsumgebung in diesem Umfeld. Die SyroCon Consulting GmbH, Eschborn, hat in Zusammenarbeit mit einem Erstausrüster (OEM) eine Werkzeugkette auf Basis von ADTF entwickelt, welche eine durchgängige und im hohen Maße automatisierte Verarbeitung, Auswertung und Analyse von verschiedensten Daten ermöglicht.

Toolkette und Test-Prozess

Während der weltweit durchgeführten Testfahrten werden die Daten aufgezeichnet und schon hier einer ersten Validierung, Vorverarbeitung und Klassifizierung unterzogen. Hierfür wurde ein Programm entwickelt, welches es dem Beifahrer erlaubt, schnell und effizient die wesentlichen Charakteristika der Videosequenzen zu dokumentieren.
Im nächsten Schritt gilt es, aus den erfassten Testdaten die sogenannte „Ground Truth“ zu erzeugen. Dies ist die Referenz, gegen welche die von der Kamera-Software erkannten Objekte verglichen werden. Die Erstellung der „Ground Truth“ ist ein weitgehend manueller Prozess, der als „Labeling“ bezeichnet wird und für die erfassten Videodaten einmalig durchzuführen ist. Dabei werden zu den Videosequenzen Metadaten erstellt, die alle Informationen der Bilddaten charakterisieren: Lokation, Wetter, Sicht- und Lichtverhältnisse, und alle zu erkennenden Objekte wie Fahrbahnmarkierungen, Schilder oder Fahrzeuge.

Zusammen mit den Videodaten bilden diese Metadaten die Testdatenbibliothek, aus der für den Test einer Kamerasoftware gezielt Videosequenzen mit bestimmten Charakteristika – z. B. für die Spurerkennung bei Regen – ausgewählt werden können.

Im Rahmen des Entwicklungsprozesses der Kamera-Software werden der Kamera die gespeicherten Videosequenzen zugeführt. Parallel werden die von der Kamera-Software erkannten Objektdaten ausgelesen und mit der „Ground Truth“ verglichen. Dieser Prozess muss einerseits in Realzeit ablaufen, andererseits wird er im Rahmen von Regressionstests für neue Versionen der Kamera-Software immer wieder durchgeführt und erfordert damit eine komplette Automatisierung.

Hierzu wird die Kamera in einen sogenannten Hardware-in-the-Loop-(HIL)-Prüfstand integriert, der die Videosequenzen einspielt und die Erkennungsdaten abgreift. Der Vergleich zwischen „Ground Truth“ und von der Kamera erkannten Objekten wird in der Auswertung automatisch verglichen. Ergebnis ist eine Statistik, die Aussagen über die Qualität der Erkennungs-Software zulässt sowie detaillierte Informationen zu Diskrepanzen zwischen „Ground Truth“ und Bilderkennung liefert. Mit Hilfe des Analyse-Tools können dann einzelne Videosequenzen untersucht werden, die solche Diskrepanzen aufweisen.

Besonderes Augenmerk wurde auf die Datenverwaltung, Klassifizierung und Archivierung der Daten gelegt. Dies stellt die Nachvollziehbarkeit der durchgeführten Tests sicher. Im Rahmen von immer intelligenteren Assistenzsystemen, welche auch aktiv ins Fahrgeschehen eingreifen oder autonomes Fahren ermöglichen, bekommt dieser Aspekt eine zentrale Bedeutung. Zusätzlich können die eingefahrenen Daten für Regressionstests wiederbenutzt werden – beispielsweise zum Testen einer neuen Kamera-Software oder zur Entwicklung neuer Fahrerassistenzfunktionalitäten.
Die von SyroCon entwickelte Werkzeugkette auf Basis von ADTF lässt sich schnell und unkompliziert an verschiedene Anforderungen anpassen und ist leicht erweiterbar. Hiervon können sowohl Automobilhersteller wie auch die Zulieferfirmen profitieren – und letztendlich auch die Fahrzeugnutzer.