Challenges for reproducing real-life test runs in simulation for validating automated driving functions

Abstract

This paper discusses the challenges for reproducing real-world tests of automated driving functions in simulation. Because of the complexity of the environment and the uncountable number of potential scenarios, a purely physical validation is impossible. Therefore, a huge amount of testing has to be done in a virtual environment. We are applying a scenario-based virtual validation approach. This means that the test cases are derived from representative scenarios. These scenarios can either be derived from functional, safety, or security analysis, based on expert knowledge or extracted from measurements. A lot of aspects have to be considered to get sufficiently detailed scenarios. Not all of them are completely defined yet.

This paper describes an approach to collect scenarios from public road tests using a precise reference sensor measurement system based on high resolution sensors able to have a $360 \circ$ panorama detection rate. It needs to be able to detect and classify the objects surrounding the ego-vehicle and determine position, velocity and direction of motion of all of them. As a result, scenarios should be transformed to a format, which can be executed in a simulation environment. This paper will summarize the current state-of-the-art as well as the remaining challenges for the automated extraction and reproduction of scenarios in simulation.

Zusammenfassung

Dieser Beitrag diskutiert die Herausforderungen für realitätsnahe Tests automatisierter Fahrfunktionen in der Simulation. Aufgrund der Komplexität der realen Welt und der unzähligen möglichen Szenarien ist eine rein physikalische Validierung nicht möglich. Eine Vielzahl der Tests muss daher in einer virtuellen Umgebung durchgeführt werden. Der vorgeschlagene Ansatz basiert auf der Idee des szenariobasierten Testens. Die Idee ist, dass Testfälle aus repräsentativen Szenarien abgeleitet werden. Diese können aus unterschiedlichen Quellen, wie z. B. unterschiedlichen Sicherheitsanalysen, abgeleitet aus Expertenwissen oder aus Messdaten stammen. Dabei müssen unterschiedlichste Aspekte berücksichtigt werden, um ausreichend detaillierte Szenarien zu erhalten. Nicht alle dieser Aspekte sind bis jetzt im Detail spezifiziert.

Dieser Beitrag beschreibt die Herausforderungen beim Erstellen von Simulationsszenarien aus Straßentests, die mit einem präzisen Referenzmesssystem auf Basis von hochauflösenden Sensoren aufgenommen wurden. Das System muss Objekte im Umfeld des Egofahrzeugs erkennen und klassifizieren können und die Position bestimmen. Aus diesen Umfelddaten können dann die relevanten Abschnitte und Parameter extrahiert und in ein Format umgewandelt werden, das von einer Simulationsumgebung ausgeführt werden kann. Dieser Artikel fasst den aktuellen Stand der Technik zusammenfassen und zeigt die verbleibenden Herausforderungen für die automatisierte Extraktion und Reproduktion von Szenarien in der Simulation.