Grundlagen
Sim-to-Real (Sim2Real)
01Begriffsbestimmung
Sim-to-Real, häufig auch Sim2Real geschrieben, bezeichnet sowohl ein Verfahren als auch dessen zentrale Herausforderung: Eine Regelungspolicy für Roboter wird in einem Physiksimulator trainiert, in dem Versuch und Irrtum günstig, schnell und sicher sind, und das trainierte Modell anschließend auf realer Roboterhardware eingesetzt.
02Die Realitätslücke
Die entscheidende Schwierigkeit ist die „Realitätslücke“: Simulierte Physik, Sensorrauschen und Materialien stimmen nie vollkommen mit der realen Welt überein. Deshalb kann eine Policy, die in der Simulation fehlerfrei arbeitet, an realer Reibung, realen Lichtverhältnissen oder dem tatsächlichen Gewicht eines Gegenstands scheitern.
Trainingsumgebung
Versuch und Irrtum sind günstig, schnell und sicher — Physik, Sensorrauschen und Materialien bilden die Realität jedoch nur näherungsweise ab.
Einsatzumgebung
Reale Reibung, reale Lichtverhältnisse und das tatsächliche Gewicht eines Gegenstands — all das hat die Policy zuvor nicht in exakt dieser Form erlebt.
03Zwei Ansätze zum Schließen der Lücke
Um diese Lücke zu schließen, gibt es zwei zentrale, einander ergänzende Ansätze. Bei der Domänenrandomisierung wird eine Policy nicht in einer einzigen festen Umgebung, sondern unter vielen unterschiedlichen Simulationsbedingungen trainiert. So wird sie robust gegenüber Schwankungen, statt sich an die Eigenheiten eines bestimmten Simulators anzupassen. Die Systemidentifikation geht den umgekehrten Weg: Der Simulator wird nicht variiert, sondern seine Parameter — Reibung, Masse und Motorreaktion — werden sorgfältig anhand realer Messwerte kalibriert. Dadurch liegt eine einzelne, genauere Simulation von Anfang an näher an der Realität. In vielen praktischen Sim-to-Real-Prozessen werden beide Verfahren kombiniert.
Domänenrandomisierung
Texturen, Beleuchtung und Physikparameter des Simulators werden bei jedem Trainingslauf verändert. So wird die Policy gegenüber Schwankungen robust, statt sich auf eine einzige exakte Konfiguration festzulegen.
Systemidentifikation
Die Parameter des Simulators werden anhand realer Messwerte kalibriert, damit eine einzelne, genauere Simulation von Anfang an näher an der Realität liegt.
04Beispiel: OpenAI Dactyl
OpenAI demonstrierte die Domänenrandomisierung mit Dactyl, einer vollständig in der Simulation trainierten Roboterhand. Zum Einsatz kam die Automatic Domain Randomization (ADR), bei der der Schwierigkeitsgrad der Randomisierung mit fortschreitendem Training automatisch steigt. Die resultierende Policy löste mit realer Hardware einhändig einen Rubik-Würfel und funktionierte sogar weiter, als ein Forscher die Hand mit einer Stoffgiraffe störte — eine Einwirkung, die im Training nie vorgekommen war.
05Häufige Fragen
Würde die Realitätslücke verschwinden, wenn der Simulator genauer wäre?
Nicht vollständig. Kein Simulator bildet reale Physik, Sensorrauschen und Materialien vollkommen ab. Eine höhere Genauigkeit hilft — dazu dient die Systemidentifikation. Die Domänenrandomisierung wird jedoch gerade deshalb eingesetzt, weil sie eine Policy gegenüber Schwankungen robust macht, statt ausschließlich auf eine immer genauere Simulation zu setzen.
Was genau wird bei der Domänenrandomisierung zufällig variiert?
Visuelle Eigenschaften wie Texturen und Beleuchtung sowie physikalische Eigenschaften wie Reibung, Masse und Objektabmessungen. Sie werden bei jedem Trainingslauf verändert, damit sich die gelernte Policy nicht an die exakten Einstellungen eines einzigen Simulators anpasst.
Sollte sich ein Team für Domänenrandomisierung oder Systemidentifikation entscheiden?
Die Verfahren schließen einander nicht aus. Viele Prozesse kalibrieren den Simulator zunächst durch Systemidentifikation, um eine hinreichend genaue Ausgangsbasis zu erhalten. Darauf wird die Domänenrandomisierung aufgesetzt, damit die Policy auch verbleibende Kalibrierungsfehler toleriert.
06Quellen
04. Beispiel: OpenAI Dactyl
Grundlagen
Alle Artikel: Grundlagen →Grundlagen der Industrierobotik
Konzepte der physischen KI
- ›Physische KI
- ›Verkörperte KI
- ›Weltmodell
- ›Sim-to-Real (Sim2Real)(dieser Artikel)