KI-Begleiter in Mixed Reality
Eine native Unity-Mixed-Reality-App für Meta Quest, die eine KI-gesteuerte Figur per Passthrough in den realen Raum des Nutzers bringt.
Rolle
Entwickler
Status
Ausgeliefert
Überblick
Ziel war ein KI-Begleiter, der den realen Raum des Nutzers teilt, statt nur auf einem Bildschirm zu existieren. Ich habe dafür eine native Mixed-Reality-Anwendung in Unity für Meta Quest entwickelt und ausgeliefert.
Herausforderung
Ein erster Versuch mit WebXR scheiterte an den Grenzen des Kamerazugriffs im Browser. Außerdem musste die Figur echte Wände und Möbel respektieren, auf physische Interaktion reagieren und in Echtzeit sprechen.
Lösung
Ein nativer Unity-Build mit Kalibrierung der Raumgrenzen und räumlicher Verankerung, Boden- und Skalierungskorrektur gegen Kollisionen mit dem realen Raum, Controller-Interaktionen mit Partikeleffekten sowie einem externen LLM- und TTS-Backend für Stimme, Text und Mimik.
Ergebnis
Die Anwendung wurde an den Auftraggeber ausgeliefert. Ein öffentlicher Build ist nicht verfügbar.