Oculus-Rift und Kinect kombinieren

Die erste Alpha Version des FireTouchVR Frameworks ist nun lauffähig. Sie arbeitet aktuell mit der Oculus Rift, dem Kinect Sensor und dem selbst gebauten Datenhandschuh zusammen.

Verbindet man die virtuelle Kamera mit der Kinect-Position des Kopfes, kann die Kamera im Raum bewegen. Der Bewegungssensor der Okulus Rift Brille wiederum erkennt nur die Drehung des Kopfes, nicht aber Position innerhalb des Raumes.

Gleichzeitig die Kinect für die Position und die Oculus Rift Brille für die Drehung des Kopfes zu verwenden, ergänzt sich daher sehr gut. Man kann dadurch Dinge von mehreren Seiten oder aus der Nähe anschauen.

Kinect Sensor - FireTouchVR
Die Kinect misst die Position von Hand und Kopf

Mit etwas eigener Hardware-Entwicklung kann zusätzlich auch eine Hand zu Interaktion verwenden.

Der fertige Datenhandschuh - FireTouchVR
Der fertige Datenhandschuh

Dazu kann man einen Handschuh günstig mit Dehnungsmesstreifen ausstatten. Oder wie hier einen fast 20 Jahre alten Nylonhandschuh mit eingebauten Glasfasern verwenden.

Synchrone Darstellung der virtuellen Hand - FireTouchVR
Synchrone Darstellung der virtuellen Hand


Wie bei der Oclulus Rift Brille benötigt man für die Drehung der Hand ebenfalls einen Rotationssensor. - FireTouchVR
Wie bei der Oclulus Rift Brille benötigt man für die Drehung der Hand ebenfalls einen Rotationssensor.

Bringt man die Oculus Rift Brille, die Kinect und den Handschuh zusammen, kann man sich im virtuellen Raum bewegen und dabei seine eigene Hand sehen. Dadurch sind Manipulationen im Raum auch für komplett unerfahrene Nutze durch einfache Greifen oder Bewegen mit der Hand möglich.

FireTouchVR

Hier das Ganze noch einmal zusammen gefasst als Video:

Hier noch ein paar weitere Impressionen:

FireTouchVR

FireTouchVR

FireTouchVR

FireTouchVR

Multi Touch Table: Objekt-Erkennung

Das Fire-Touch Framework unterstützt nun auch die Erkennung von Objekten, welche auf der Projektionsfläche aufliegen.

Dazu werden unter den Objekten Barcode-ähnliche Markierungen angebracht. Diese können dann im Webcam-Bild von den aufgelegten Fingern unterschieden und ausgewertet werden.

Zu den erkannten Information zählt auch die Drehung des erkannten Objektes.

Ein Beispiel für die Erkennung von vier Objekten: