Erste Schritte: vom ferngesteuerten zum KI-gesteuerten Roboter

Seit Jahresbeginn arbeiten wir an den Grundlagen. Bevor ein Roboter selbstständig arbeitet, muss man ihn erst einmal sicher bewegen, beobachten und messen können.

Teleoperation in der Simulation

Wir haben eine Umgebung in NVIDIA Isaac Sim aufgebaut, in der wir Roboter per Fernsteuerung durch virtuelle Räume führen. Jede Bewegung wird dabei aufgezeichnet. So entstehen die ersten Datensätze, aus denen Roboter später lernen.

Ein Roboter, den ein KI-Agent steuert

Parallel haben wir eine Kommandozeilen-Schnittstelle gebaut, über die ein KI-Agent einen realen Roboter steuert. Statt Gelenkwinkel einzugeben, formuliert man das Ziel, und der Agent übersetzt es in Bewegungen.

Navigation und Objekterkennung

In einer simulierten Küche fährt unser Roboter inzwischen selbstständig zu benannten Bereichen wie „Küchentisch“ oder „Regal“. Dort erkennt er Objekte mit einem Kameramodell, bestimmt über die Tiefenkamera ihre Position im Raum und fährt gezielt heran.

Was wir gelernt haben

Simulation spart enorm viel Zeit, aber nur, wenn sie realistisch genug ist. Spiegelnde und durchsichtige Gegenstände sind zum Beispiel für Tiefenkameras schwierig. Solche Grenzen früh zu kennen, ist mindestens so wertvoll wie jede gelungene Demo.