Menu

ÉCRAN INTERACTIF

22 septembre 2015 - Conception, Développement
ÉCRAN INTERACTIF

APPLICATION DE MON ALGORITHME DE TRACKING VISUEL

POUR CRÉER UN ÉCRAN INTERACTIF

 

L’IDÉE

 

J’ai écris en C# un algorithme de tracking visuel. C’est basiquement une analyse d’image et de tracking de blobs.

Ce petit bout de code, j’ai décidé de l’appliquer à la fabrication d’un écran interactif.

 

LA PRODUCTION

 

20150409_195122La table en elle même consiste en une structure en pvc soutenant une plaque de plexiglass servant d’écran de projection. La vidéo projection étant assuré par un pico projecteur.

 

 

 

f

Comme on peut le voir sur la photo, bien que le pico projecteur ne soit pas très puissant, une fois dans l’obscurité on obtient quelque chose d’assez lumineux.

 

 

calibration

Pour créer les blobs à tracker, je choisis de travailler avec  l’infrarouge. Je modifie une webcam pour qu’elle devienne aveugle au spectre visible et sensible seulement à l’infrarouge. J’obtiens ainsi une image comme celle de la photo : des blobs blancs sur un fond noir. Ces taches blanches correspondent aux endroits où les doigts touchent l’écran. La lumière provient par des leds infrarouge situées à l’intérieur de la table. Les doigts en touchant l’écran réfléchissent cette lumière. Pour les tests suivants, la lumire IR provient simplement de leds à la surface de l’écran. Ce sont ces blobs qui vont passer à la moulinette de mon algorithme pour que leurs positions soient trackées.

 

 

Premier test de tracking

Sur cette vidéo je déplace une led infrarouge simplement alimentée  par une batterie lipo. On peut constater que la balle 3D suit bien la position x et y de la led.

Second test de tracking

Cette fois ci c’est la raquette qui suit la led infrarouge uniquement sur l’axe y. La balle, quant à elle, est laissée libre et soumise à la dynamique du moteur d’Unity3D. J’ai ajouté un petit élément de gameplay pour le test : sa vitesse accélère à chaque rebond, d’où l’euphorie de fin.

Troisième test de tracking

On passe en mode TRON ! La raquette est maintenant physique et constituée de 5 leds, d’une batterie lipo et d’un module radio recevant les infos de collision de l’application. On ne voit pas bien à cause de la diffusion futuriste des leds, mais lorsque la balle touche une led à l’éxtrémité de la raquette, celle ci s’éteint diminuant ainsi la taille de la raquette.

 

LA SUITE

 

Au final la table est assez lumineuse en condition de basse lumière ambiante et le tracking est satisfaisant.

Pour la suite, j’aimerai finaliser une application pour faire une belle démo. J’ai également améliorer l’algorithme de tracking en lui ajoutant l’analyse de la rotation de l’objet et de son identifiant. Mais il reste à tester en condition réelle.
J’aimerai également poursuivre ma tentative d’éclaraige par le dessous avec les leds IR afin de rendre la table interactive au toucher.

 

 

 

Étiquettes : , ,