Animation

[thierryvalk]

Voici un projet commencé fin de l'année dernière et censé être finalisé pour octobre.
Il s'agit d’amuser les enfants avec une animation pour Halloween en la personne d'une sorcière ayant quelques mouvements et si possible des interactions.

Vu que ce n'est pas clair voici une photo:

Vu que pas plus clair voici quelques explications en vrac, j'y reviendrais plus en détail.

La sorcière doit pouvoir faire des mouvements.
Pour cela je me suis dirigé vers des muscles artificiels, rien de neuf, suffit de faire une recherche "mckibben muscle".
C'est simple, pas de moteur pouvant bruler et surtout très économique. Mais demande tout de même pas mal d'expérimentations.

Pour interagir la sorcière doit pouvoir voir.
Pour cela j'ai expérimenté une technologie Google : Tensorflow. En version Lite sur un RPI secondé par un module Coral.
Il s'agit de reconnaissance en tous genres, ce qui m'intéresse principalement c'est la pose.

Malheureusement elle ne va pas savoir voir par ses propres yeux qui sont deux écrans IPS qui lui donne un peu personnalité.
Les écrans sont gérés par un module ESP32, le firmware basé sur un projet d' Adafruit.
https://learn.adafruit.com/animated-electronic-eyes/overview

Là où je ne suis vraiment pas très avancé, c'est pour la partie audio.
Et oui, parler ce serait bien et pourquoi pas aussi musique ou bruitages en fond.

Voila l’aperçu, il y a de quoi s’amuser dans divers domaines.

[thierryvalk]

[alka]

Quelle allure ! les mouvements de la tête sont déjà super. J'ai hâte de voir la suite

[louisr]

Y'en a un qui s'amuse bien
Mais le résultat est impressionnant, chapeau pour l'intégration méca/élec/info

[thierryvalk]

Oui, c'est très amusant.

Voici pour le bras bien que pas complet car il me manque quelques électrovannes.
Pour le bruit, il sera déjà réduit lors de l'échappement d'air par des silencieux mais il y aura encore pas mal de boulot pour avoir un fonctionnement le plus discret possible.

[thierryvalk]

Voici la réalisation d'un muscle.

Embout en POM réalisé au tour + raccord pneumatique.
De la ficelle solide : fil de pêche.
Un ballon de baudruche destiner à la création d’animaux.
Un collier de serrage qui peut être remplacé par un colson.
Un colson et de la gaine électrique extensible.
Ici en 10mm mais l'on peut utiliser du 15 voir 20mm si l'on veut plus de force.

La construction est toute simple, il faut juste veiller à ce que le ballon soit légèrement tendu dans la gaine.

Et avec 1.5 bar de pression.

Simple et très économique tout comme les petites vannes 2 voies : l'une pour la pression et l'autre pour l'échappement.

[GoodNoize]

Impressionnant le résultat
Bravo !

[thierryvalk]

Les news, c'est long et lent mais très amusant.
Petite photo du spaghetti, en fait certains éléments sont +- définitifs et d'autres au stade expérimental.

Mais parlons audio.
La sorcière se doit de pouvoir parler. Il y a différentes options dont l'IA avec conversion son vers texte, traitement et réponse en texte qui est reconverti en son.
Mais ce ne sera pas pour cette année.
Je reste sur une méthode simple : mots et phrases enregistrés en mp3 sur une carte SD qui pourront être joués en fonction d'une gestion globale.

Pour cela j'ai choisi un module ESP32 avec interface I2S pour l'audio + petit ampli mono, carte SD, RS485 pour implanter du Modbus qui commandera les électrovannes des muscles pneumatiques et quelques GPIO.

https://www.antratek.be/wt32-sco1-plus

Voici un aperçu :

J'y ai implanté un petit serveur Web HTTP qui permet de charger les fichiers mp3 et autres sur la carte SD simplement de mon PC via le Wifi de l'ESP32.
Quelques commandes HTTP post me permettent aussi quelques interactions entre un soft sur PC et la sorcière.

Pour l'audio j'utilise la librairie Audiotools.
https://github.com/pschatzmann/arduino-audio-tools/tree/main

Vraiment très complet et bien documenté mais avec quelques petits bugs mineurs.
Ainsi je peux donner de la voix à la sorcière, reste qu'il lui faut les mouvements de la bouche en synchronisation pour donner un aspect réaliste.

Pour cela j'utilise un player d'Audiotools qui sort sur du I2S pour attaquer le petit ampli de la carte et un seconde sortie sur un VolumeOut qui retourne le niveau sonore en valeur de 0 à 32000.
La routine principale reçoit cette valeur et selon la variation de niveau va actionner ou non le vérin qui commande la bouche.

[GoodNoize]

Franchement bravo c'est impressionnant !
Commence à y avoir un beau réseau pneumatique.
ça me rappelle mes cours d'autom, Grafcet, Ladder et compagnie

[alka]

impressionnant c'est le mot !

Pour la faire parler, j'ai lu des choses intéressantes en text-to-speach sur ESP32 avec voix +- réaliste. Ca peut aussi faire reconnaissance vocale en local mais c'est moins ta préoccupation.
De mon coté, je regarde ça dans le contexte homeassistant pour avoir du contrôle vocal local.

[thierryvalk]

J'ai un peu regardé pour du TTS en local et reconnaissance vocale, mais cela ne semble pas si évident.
Pour la reconnaissance il faut déjà éliminer les bruites et échos, pour cela Espressif à des cartes multi micros + dsp.
Ensuite Tensorflow que j'utilise pour la camera peut reconnaitre quelques mots.

Du TTS serait pratique, j'y réfléchi encore. A l'heure actuelle, je ne sais pas encore ce que je vais lui faire dire.
Le truc aussi, c'est qu'après Halloween, je compte transformer la sorcière en Père Noël.

[alka]

Le truc aussi, c'est qu'après Halloween, je compte transformer la sorcière en Père Noël.

tu enregistres ho ho ho et tu lui laisse pousser la barbe

l'intéret du TTS c'est que tu peux faire semblant d'interagir. Il suffit d'être planqué dans le fond et de tapoter sur son smartphone. Avec un gamin de 8 ans ça marche
je le fais ultra simple avec Homeassistant qui fait parler Alexa.

[thierryvalk]

J'aurais une camera sur un RPI.
Elle va connaitre le nombre de personne présentes, théoriquement savoir si enfant ou adulte et genre. Mais des premiers tests, c'est pas très concluant.
Par contre il y a aussi détection de "la pose", sorte de squelette de l'humain détecté qui devrait donner une info sur sa taille et distance par rapport à la sorcière.

Il y a aussi simplement l'horloge qui peut faire dire "bonsoir" ou "bonjour".

Et vu la camera, je ne devrais pas être planqué pour interagir manuellement.

Par contre si je tape du texte, j'aurais difficile à commander en même temps des mouvements.
Je pense plus à faire du TTS text-to-sequence.
Par exemple séquence Salutation : Dire bonjour ou bonsoir tout en faisant signe de la main.
Avec un enchainement de courtes séquences je devrais pouvoir arriver à créer des animations avec différents scénarios.

J'ai aussi l'aspect "sécurité".
Les mouvements des bras ne sont pas très rapides, mais tout de même elle pourrait donner une gifle à un enfant trop proche.
J'ai prévu en plus de la camera un détecteur à ultra-son.
A une distance qui deviendrait trop courte, elle pourrait demander de reculer et si la distance devient critique arrêter ses mouvements tout en m'envoyant un message sur mon smartphone.

[alka]

super projet

[thierryvalk]

Oui si ça fonctionne et si j'ai terminé pour octobre.

Il suffit d'être planqué dans le fond et de tapoter sur son smartphone. Avec un gamin de 8 ans ça marche
je le fais ultra simple avec Homeassistant qui fait parler Alexa.

J'ai enfin compris le sens de l'AI : Alain Interactif.

[thierryvalk]

Bon, ça avance, elle a maintenant une belle robe et me fait toujours peur lorsque j'oublie qu'elle est là.
Pour y voir un peu plus clair, j'ai fait un petit schéma des électroniques en jeu.
Sera certainement encore modifié de nombreuses fois.

[alka]

je ne dirai pas que je comprends ! la mulitplication des esp32
t'as mis un broker mqtt sur un esp32. Tu utilises quoi comme librairie ?

[thierryvalk]

https://github.com/mlesniew/PicoMQTT