×12
Worum geht es?
Das Ziel ist eine künstliche Intelligenz, die Mario Kart 8 Deluxe auf einer echten Switch 2 spielt, nicht in einem Emulator. Die KI sitzt auf einem MacBook. Sie bekommt das Bild der Konsole über eine HDMI-Capture-Karte und schickt ihre Fahrbefehle an einen selbstgebauten Controller zurück. Gespielt wird ausschließlich offline (Zeitfahren, Grand Prix gegen die CPU). Bots gehören nicht in Online-Rennen.
Ein ESP32 ist ein Mikrocontroller: ein kleiner Computer auf einem Chip, etwa so groß wie ein Daumennagel, mit WLAN und Bluetooth eingebaut. Er hat kein Betriebssystem im üblichen Sinn. Man schreibt ein Programm, die Firmware, und „flasht“ es auf den Chip. Danach macht er genau diese eine Sache, sobald Strom anliegt.
Der Phasenplan
Welt 1: Controller
Der ESP32 verbindet sich per Bluetooth mit der Switch 2, eine GUI auf dem Mac steuert ihn, Latenz ist gemessen.
GESCHAFFTWelt 2: HDMI-Bild
Die Capture-Karte liefert 720p mit 60 Bildern pro Sekunde, die Ende-zu-Ende-Latenz liegt bei 144 ms.
GESCHAFFTWelt 3: Daten sammeln
19,5 Minuten Mario-Kart-Stadion aufgezeichnet, dazu Korrekturfahrten im Shadow-Modus mit der KI am Steuer.
GESCHAFFTWelt 4: Training
Ein Faltungsnetz lernt aus vier gestapelten Bildern Lenkung und Drift. Nach vier Korrekturrunden fährt die KI drei Runden Zeitfahren ohne Eingriff.
Die Ausrüstung
| Gerät | Was es ist | Rolle |
|---|---|---|
| MacBook (Apple Silicon, macOS 27) | Entwicklungsrechner, trainiert das Netz auf der Grafikeinheit | Steuerung, Aufnahme, Training, KI |
| Nintendo Switch 2 | Konsole im Dock, HDMI am TV | Hier läuft das Spiel |
| ESP32-WROVER | Aus einem Adeept-Roboterauto-Bausatz (ADE033). Chip ESP32-D0WD-V3, 16 MB Flash, USB-Seriell-Wandler CH340. Eigentlich sollte er ein Auto fahren. | Spielt den Pro Controller |
| Pro-Controller-Nachbau | Ein günstiger „N-SL WirelessController“, funktioniert an der Switch 2 | Referenz: So sieht ein Controller aus, den die Switch akzeptiert |
| HDMI-Capture-Karte | Smerfy SME-HJ, ein günstiger USB-Stick mit MS2109-Chip, der sich am Mac als Webcam „USB Video“ meldet. Liefert 720p und 1080p mit 60 Bildern pro Sekunde. | Die Augen der KI |
Warum Bluetooth und nicht USB?
Ein Controller kann auf zwei Wegen mit der Switch sprechen: per Kabel am Dock (USB) oder drahtlos (Bluetooth). Welcher Weg möglich ist, entscheidet der Chip:
- Der vorhandene ESP32-WROVER hat Bluetooth Classic, aber kein natives USB. Also nur drahtlos.
- Ein ESP32-S3 hätte natives USB, aber nur Bluetooth Low Energy. Also nur Kabel.
Ein echter Pro Controller funkt mit Bluetooth Classic. Da der WROVER schon da lag, fiel die Wahl auf den drahtlosen Weg. Der S3 bleibt als Plan B im Hinterkopf.
Der Controller soll sich für die Switch wie ein echter anfühlen, also drahtlos und „original“, nicht als Kabel-Adapter am Dock. Dahinter steckt ein Fernziel: Wenn die KI gut fährt, soll sie vielleicht irgendwann einen richtigen Controller bedienen, mit einem kleinen Roboter, der die Tasten drückt. Dafür muss der Rest der Kette schon heute so nah wie möglich am echten Spielgefühl sein.
Es gibt zwei Bluetooth-Familien, die sich gegenseitig nicht verstehen. Classic (für Kopfhörer, Tastaturen, Controller) ist älter und schneller im Datenstrom. Low Energy (BLE, für Fitnesstracker, Sensoren) ist sparsamer. Die Switch koppelt ihre Controller über Classic. Ein Chip, der nur BLE kann, hat also keine Chance.
Die Seiten dieses Tagebuchs
Welt 1: Bautagebuch
Level 1-1 bis 1-6
SEITE 2Welt 2+3: Sehen & Fahren
Level 2-1 bis 2-6
SEITE 3Fallstricke
Alle Stolpersteine auf einen Blick
SEITE 4Nachbauen
Dateien, Ablauf, Lizenzen
SEITE 5Ausblick & Glossar
Nächste Schritte, Vorbilder, Begriffe
Die Item-Box oben rechts öffnet das Menü und führt von jeder Seite überallhin.