
Devlog · Personnage temps réel · Novembre 2026
Echoes of the Soul
Une tête cartoon qui exprime des émotions et qui parle. D’abord riggée, peinte et éclairée dans Blender, puis pilotée à la webcam dans un navigateur, et enfin reconstruite à l’identique dans Unity HDRP, où un iPhone ou une webcam lui prêtent un visage.
- Période
- 12 → 15.11.2026
- Rendu
- Cycles · three.js · HDRP
- Rig
- 52 shape keys ARKit
- Capture
- iPhone · MediaPipe
- Lecture
- 17 min
Echoes of the Soul est parti d’une idée simple : un visage 3D qui réagit à celui de la personne en face. Une première ébauche existait déjà : un donut de verre qui changeait de couleur selon l’émotion détectée. Il fallait un vrai visage.
Celui-ci est un sculpt cartoon de 38 294 sommets, barbu, en bonnet. En quatre jours, il a reçu une bouche complète, une bibliothèque d’expressions, une peau peinte calculée texel par texel, trois éclairages de cinéma, une page web qui le pilote à la webcam, puis un portage dans Unity HDRP où il est capturé par un iPhone. Chaque étape est rejouable par script : rien n’est réglé une seule fois à la main.
Ce devlog suit l’ordre du projet, avec les mesures, les impasses et ce qui reste à faire.
Chapitre 01 / 07
Un visage qui parle
Le sculpt avait déjà ses 52 shape keys ARKit et un control rig générés par Faceit. Il manquait l’intérieur de la bouche, un cou, des poses prêtes à l’emploi, et un clignement qui ne déchire pas la paupière.
- 38 294
- Sommets du sculpt, un seul maillage étanche.
- 52
- Shape keys ARKit, compatibles telles quelles avec la capture iPhone.
- 14 + 10
- Expressions et visèmes dans la bibliothèque de poses.
Premier faux diagnostic : bouche ouverte, on voyait une surface couleur peau entre les lèvres. La bouche semblait scellée. En listant les sommets du plan médian, il y avait pourtant des points à 6 cm derrière les lèvres : une cavité complète, peinte de la même couleur que la peau. Pour la trouver, chaque sommet candidat tire 40 rayons ; ceux dont plus de 72 % retombent sur la tête sont « dedans ». Résultat : 4 100 sommets, une cavité de 13,6 cm de large.
Les dents sont générées le long d’une arcade recalée sur la paroi mesurée par lancer de rayons : la cavité sculptée se resserre vers la gorge, là où une vraie arcade s’élargit. Les dents du bas et la langue suivent la mâchoire grâce à la rotation rigide retrouvée dans la shape key jawOpen par l’algorithme de Kabsch : 22,1° pour un résidu moyen de 1,96 mm.

AvantAprèsdef kabsch(P, Q):
"""Meilleure rotation + translation (moindres carrés) envoyant P sur Q."""
cp, cq = P.mean(0), Q.mean(0)
U, _, Vt = np.linalg.svd((P - cp).T @ (Q - cq))
d = np.sign(np.linalg.det(Vt.T @ U.T))
R = Vt.T @ np.diag([1, 1, d]) @ U.T
return R, cq - R @ cpLe vrai défaut ne s’est vu que sur une coupe verticale du maillage : à l’ouverture, la lèvre du haut descendait de plus d’un centimètre et reculait dans les dents, en rideau. Sur les 892 sommets dominés par les os de lèvre supérieure, elle suivait la mâchoire à 28 % en moyenne. J’atténue jawOpen là où ces os dominent et je reporte exactement la différence dans mouthClose : la somme des deux ne change pas, la pose lèvres closes non plus. Le suivi tombe à 7 %.

Les poses sont écrites en valeurs ARKit, puis converties en positions de contrôleurs en lisant les drivers de Faceit, de la forme (var / D) * amp. Une première série, validée sur des vignettes de 320 px, déformait le visage en grand. La version 2 suit trois règles : la forme dominante ne dépasse pas 0,6, trois ou quatre formes au plus par zone, et pas de eyeBlink hors des yeux fermés. Les 10 visèmes ne touchent que les 25 canaux de la bouche : ils se superposent à une émotion sans l’effacer.

Le clignement d’origine « tirait sur le mesh ». Une shape key déplace chaque sommet en ligne droite : à mi-course, la corde passe à travers le globe (rayon minimal de la peau à 0,86 fois celui de l’œil), et fermée, la paupière est une toile plate. Je repose la peau fermée sur une coque sphérique à 1,13 R, et une seconde shape key eyeBlink…_arc, pilotée par 4·b·(1−b), bombe la paupière à mi-course.
Le point dur était de savoir quels sommets sont de la peau visible : deux critères sur l’orientation des normales ont échoué, parce que dans un repli l’orientation ne dit pas de quel côté on se trouve. Le bon test est une visibilité : un rayon tiré vers l’avant s’échappe-t-il sans toucher ni la tête ni le globe ? Le bord détecté parcourt alors bien ses 55° attendus.

for (const [morph, i] of pairs) inf[morph] = value(i);
for (const [morph, i] of arcs) inf[morph] = 4 * value(i) * (1 - value(i)); // vaut 1 à mi-courseChapitre 02 / 07
Peindre sans pinceau
La cible était le look d’Arcane : un modelé doux et peint, des traits graphiques, aucune zone brillante. Un shader n’y suffit pas. Tout ce qui fait un visage peint est dessiné, et un dessin est une texture. Toutes les textures sont donc calculées par script, à partir de la géométrie.
- 01
Chaque texel connaît sa place
Les triangles sont rastérisés dans l’espace UV : chaque texel connaît sa position 3D et sa normale. On ne peint plus sur une image mais sur la tête, et les coutures UV sortent du problème.
- 02
Mesurer la forme
Un creux, c’est une occlusion ambiante faible : deux aplats d’ombre. Une bosse tournée vers le haut, une courbure positive : un plan éclairci. Le fond d’un pli, une forte courbure concave : un trait d’accent.
- 03
Des touches qui suivent la forme
30 000 ellipses posées en 3D, orientées le long des isolignes de l’occlusion. Chaque touche reprend la couleur sous son centre : à cheval sur une ombre, elle effrange la limite toute seule.

| Couche | Ce que mesure le script | Ce qu’il peint |
|---|---|---|
| 1. Base | Peau mesurée près de la bouche | Ton saturé à 0,85 |
| 2. Zones | Bout du nez, joues, oreilles (x extrêmes) | Rouges, front jaune, mâchoire froide |
| 3. Ombres | Occlusion par sommet, 40 rayons sur 3,5 cm | Deux aplats au bord bruité |
| 4. Lumières | Courbure moyenne × orientation | Plans chauds, opacité 0,22 |
| 5. Accents | Courbure très concave, occlusion < 0,95 | Brun-rouge au fond des plis |
| 6. Touches | Gradient de l’occlusion | 30 000 ellipses de 3 à 9 mm |
| 7. Sourcils | Courbe projetée sur la peau | Masse + 190 poils effilés |
iso = np.cross(nor, grad_ao) # tangent à la surface, perpendiculaire au gradient
hor = np.cross(nor, (0, 0, 1)) # horizontale sur la surface
w_iso = smooth(2.0, 12.0, |grad_ao|) # forme marquée -> isoligne ; forme plate -> horizontale
flow = normalize(hor * (1 - w_iso) + iso * w_iso)Deux itérations sur douze ont servi à corriger des valeurs supposées : des seuils de courbure vingt fois trop bas (la tête va de −31 à +48 m⁻¹), puis un rayon de globe oculaire sous-estimé de moitié. Le cerne rouge vif autour des yeux venait des globes, comptés comme obstacles dans l’occlusion. Autour de l’œil, l’ombre passe au mauve-gris et un cerne léger, à 0,15 d’opacité, remplace le brun.
Un dernier défaut ne relevait pas de la peinture : une bande vide en zigzag sous la mâchoire. 2 354 faces avaient des UV dégénérés, des bandes d’une face de large le long des coutures. Plutôt que de redéplier (les îlots éclataient puis se chevauchaient), chaque face est rattachée à l’îlot voisin par une application affine 3D → UV ajustée aux moindres carrés sur ses sommets sains. Le tout dans une copie UVMap_painted : l’original reste intact.

La barbe a sa propre texture 4096², où un texel vaut 0,17 mm. Un champ de pousse 3D (un éventail depuis la bouche, la moustache balayée vers les côtés) est projeté dans le plan tangent, puis converti en direction UV par un système 2 × 2. Six passes de traits avancent toutes ensemble dans numpy, des grandes mèches aux poils isolés.
Pour qu’on sente la main, les passes de fond sont filtrées par un Kuwahara de 0,6 mm dans la texture, pas en compositing : les touches restent collées à la surface quand la tête bouge. Les poils fins et la bordure sont posés après, nets, par-dessus les aplats.

Traits seulsKuwaharafor i, (dy, dx) in enumerate(corners): # les quatre quadrants autour du texel
cnt = np.maximum(n_box[dy:dy + h, dx:dx + w], 1e-6)
mean = l_box[dy:dy + h, dx:dx + w] / cnt
var = l2_box[dy:dy + h, dx:dx + w] / cnt - mean * mean
better = var < best
best[better] = var[better]
pick[better] = i # le quadrant le plus calme gagneUn liseré roux entourait les narines. Trois corrections côté peinture n’y ont rien fait ; la bonne question était inverse : quels triangles lisent la zone peinte ? 782 triangles loin de la barbe, aux UV dégénérés, retombaient en plein dedans. Un attribut de maillage qui dit où la barbe a le droit d’apparaître a réglé le problème en une passe.
Chapitre 03 / 07
Une bande de lumière
Un plan inspiré d’Arcane : un visage dans le noir, traversé par une bande de lumière magenta, sur un fond orange. La bande est une vraie lumière qui passe par une fente, pas une texture. Le rig est venu vite ; les yeux ont pris tout le reste.
| Lumière | Rôle | Réglage |
|---|---|---|
| lgt_slits_face | La bande | Spot magenta 100 W, +3 stops, rayon 0,7 mm |
| gobo_slits_face | La carte à fentes | 15 × 15 cm à 25 cm du spot, invisible à la caméra |
| lgt_rim_orange_L / R | Détacher la tête du fond | Zones 25 × 80 cm, 20 W |
| lgt_fill_magenta | Ombres bordeaux, pas noires | Zone 80 cm, 10 W, −3,3 stops |
| lgt_eyes_catch / _low | Reflets humides des yeux | Rectangles 38 × 10 et 70 × 5 cm, vus en reflet seulement |
Les fentes ne sont pas dessinées : chaque point voulu sur le visage est projeté sur la carte dans le repère du spot, et la carte est découpée par deux plans. Pour qu’une bande droite le reste sur un relief, le spot est posé sur la droite caméra → visage : le plan de lumière contient la caméra, et vue par la tranche, la nappe reste une droite. Le fond orange ne doit pas éclairer le visage : le monde distingue ce que voit la caméra (Is Camera Ray) de l’ambiance, à 0,025.
Restaient les yeux. Sous la bande magenta, les iris sortaient roses. Une lampe bleue réservée aux yeux par light linking, puis une bande qui change de couleur en passant sur eux : toujours rose, puis rouge. Le coupable était le bloom : additif, il ajoute un voile de la couleur des zones brillantes, et sur une pupille noire au milieu d’une bande rose, ce voile est la couleur. La solution protège les yeux du bloom par un masque d’objet dans le compositing.





Sous la bande magenta, des iris roses.
Pl. 08Cinq essais pour garder des yeux bleus dans une lumière magenta.
résultat = image + glow × (1 − masque_yeux × 0,75)Les yeux paraissaient ensuite plats. La cornée est déjà un verre de rugosité 0, mais un miroir ne brille que s’il a quelque chose à refléter, et les spots de 0,7 mm font un reflet plus petit qu’un pixel. Deux sources étendues ne servent qu’à être vues en reflet : une barre en haut à gauche du regard, et une bande basse dont le reflet dessine l’arc humide du film de larmes.
Piège au passage : ces sources éclairaient aussi les yeux, alors que leur facteur Diffuse était à 0. Dans Cycles 4.5, c’est la visibilité des rayons sur l’objet lumière qui décide. Il a fallu éteindre chaque lumière une à une pour le voir.

Aucun refletBarre + arcdef reflect_only(obj):
obj.visible_diffuse = obj.visible_transmission = obj.visible_volume_scatter = False
obj.visible_glossy = True
Chapitre 04 / 07
Nuit bleue, rai doré
Le plan Arcane tire son contraste de deux sources : la valeur (visage noir, bande très claire) et la teinte (magenta contre orange). La première fait le style, la seconde la tension. Pour un plan calme, je garde l’une et je retire l’autre : des teintes voisines et peu saturées, et une seule touche chaude.

Le même cadre, la même tête, le même gobo. Seules les lampes changent : bande ambre #FFB86A, contours cyan pâle, fill bleu ardoise, fond bleu canard vers presque noir. Rendu final : 1920 × 804, 512 échantillons, 9 min 23 s.
Œil dans la bande
Changer de teinte oblige à reprendre l’énergie. Le magenta et l’orange sont des couleurs sombres : à puissance égale, un ivoire ou un cyan émettent bien plus de luminance. La première version, aux énergies d’origine, brûlait la bande au blanc. Bande : 100 W → 55 W.
Œil dans l’ombre
Chaque œil a sa propre paire de reflets : pleine puissance dans la bande, −2 et −3 stops pour l’autre, et un débouchage commun à −2,5 stops. Pas aussi lumineux que l’œil éclairé, pas un trou noir non plus.
Barbe peinte
Dans la bande, la barbe peinte poil par poil se lit enfin. Ailleurs, l’ombre de la joue mesure (28, 12, 12) : une teinte n’existe pas dans le presque-noir, et seul un fill directionnel, plus fort, peut teinter l’ombre sans aplatir le modelé.
Le haze a demandé trois positions. Dans le monde, il s’étend à l’infini et avale le fond. Dans une boîte depuis la caméra, il voile le visage et ajoute du bruit dans les yeux. Retenu : une couche de 30 cm devant à 60 cm derrière la tête, d’où sont exclues les lumières des reflets des yeux. Les yeux retrouvent leur netteté et le faisceau reste visible dans l’air sous le menton.




Nouvelles teintes, anciennes énergies : la bande brûle.
Pl. 12Rendus de test à mi-résolution, 32 échantillons, 25 à 35 s chacun, sans jamais enregistrer le fichier.

Les éclairages vivent côte à côte dans le même .blend : Scene.copy() fait une copie liée, la tête, le rig et les 24 poses sont partagés, seules les lumières, le monde et la caméra changent. Un troisième éclairage, Studio, sert à juger le modèle sans couleur : softbox en key, fill trois stops plus bas, fond blanc cassé, AgX Medium High Contrast.



Bande magenta, fond orange brûlé, ombres bordeaux.
Pl. 14Trois scènes, un seul fichier, la même caméra.








Sans éclairage.
Pl. 15Le plan construit lampe par lampe. Chaque image recharge le fichier pour qu’aucune passe ne déteigne sur la suivante.














Pl. 16Les 14 expressions de la bibliothèque, dans la lumière calme.
Chapitre 05 / 07
De Cycles à HDRP
L’objectif n’était pas « à peu près pareil » mais la même valeur de pixel avant tone mapping. Toute la scène est exportée de Blender (modèle, textures cuites, lumières, caméra, bloom) et reconstruite dans HDRP par un builder C#, en unités physiques.

Blender CyclesUnity HDRP| Blender (Cycles) | HDRP | Conversion |
|---|---|---|
| Puissance en watts | Lumens | 1 W = 683 lm, EV100 fixe = log2(683 / 1,2) ≈ 9,15 |
| Light linking | Rendering Layers | Yeux, bande des yeux, ombre des yeux |
| Carte à fentes | Cookie de spot | Texture 1024 générée à l’export |
| Is Camera Ray | Gradient Sky + Custom Pass | Le fond vu ≠ l’ambiance |
| AgX – Punchy | Tonemapping External | LUT 32³ produite par l’OCIO de Blender |
| Caméra 135 mm f/1.4 | Caméra physique | DOF physique, format 2,39:1 à bandes noires |
Les yeux Tiny Eye de Blender ont une cornée en verre qui laisse voir l’iris en retrait : seul un moteur qui réfracte le montre. À l’export, chaque texel de cornée lance un rayon réfracté (Snell, IOR 1,376) jusqu’au maillage de l’iris et y lit sa couleur. La texture du globe contient alors l’iris vu à travers la cornée, et s’utilise telle quelle dans EEVEE, Unity ou le web.
Autres pièges : deux couches UV qui se chevauchaient (une texture en blocs, prise d’abord pour un problème de normales), et un genou fixe de 50 % sur le seuil du bloom HDRP, qui faisait glower le fond blanc du Studio et voilait tout le visage.

Les trois éclairages se fondent l’un dans l’autre en Play mode. La lumière s’additionne : pondérer l’intensité de chaque rig donne un mélange physiquement juste. Les Volumes empilés reçoivent le poids w_k / (1 − Σ_{j>k} w_j), qui reproduit exactement la somme pondérée des profils. Les LUT ne s’interpolent pas dans HDRP : le switcher les mélange lui-même dans une Texture3D posée sur un Volume caché.
Une transition faisait tomber l’éditeur à 3 images par seconde. Le coupable n’était ni les lumières ni la LUT, mais le ciel : en mélange, il change à chaque image et HDRP recalcule sa réflexion (cubemap, convolution, sonde) en 1024, soit 584 ms. Un dégradé lisse que seuls les yeux reflètent n’a pas besoin de plus de 128 : 26 images par seconde en transition.
| Play mode | Avant | Après |
|---|---|---|
| Éclairage fixe | 30 i/s | 30 i/s |
| Arcane → Studio | 3,5 i/s | 26 i/s |
| Réflexion du ciel, par mise à jour | 584 ms (1024) | 53 ms (128) |
| Mélange des LUT, par image | 2,9 ms | 1,2 ms |
Le Studio de HDRP restait plat côté ombre. Lumière par lumière, rendue seule dans Cycles et dans HDRP, le coupable est apparu : les ombres des area lights. HDRP les rend avec un cône de 120° par défaut, où la tête n’occupe qu’un dixième de la carte. Le builder calcule maintenant pour chaque area light le cône le plus serré qui contienne la tête (+15 % pour les mouvements de la capture) : 10° pour la key, environ dix fois plus de texels utiles, et des ombres PCSS à nouveau nettes. Écart moyen de luminance sur le visage : 14,3 → 6,5.


Chapitre 06 / 07
Prêter un visage
Les 52 shape keys ARKit sont un contrat : tout ce qui sort ces 52 valeurs peut animer la tête. Trois sources l’ont fait, dans l’ordre : une page web avec une webcam, l’app iPhone dans Unity, puis la webcam dans Unity, avec la reconnaissance des émotions en prime.
Dans le navigateur, MediaPipe Face Landmarker sort les 52 scores ARKit à chaque image et three.js les applique aux morph targets. Le glTF ne transporte ni les modifiers ni les drivers : les dents et la langue sont cuites shape key par shape key, et tout maillage qui a un morph target jawOpen reçoit la valeur de jawOpen. Le lien se fait par le nom. Après prune et meshopt, le fichier passe de 38,4 Mo à 4,4 Mo.
L’éclairage n’est pas réglé à l’œil : un script lit la scène Blender et l’écrit dans lights.json. Cycles et three.js travaillent tous deux en radiance, donc une fois les facteurs de conversion trouvés, il n’y a rien à ajuster.

| Blender | three.js |
|---|---|
| Lumière de zone, P watts, aire A | RectAreaLight d’intensité P / (4 A) |
| Point ou spot, P watts | Intensité P / (4π) |
| Exposition par lumière (stops) | energy × 2^exposure |
| Vue AgX, exposition E | AgXToneMapping, 2^E × 0,92 |
Pour tester sans visage humain, la tête se regarde elle-même : un rendu Blender d’une expression devient le flux d’une fausse webcam dans Chrome sans affichage, et la tête du navigateur doit faire la même. La boucle attrape les erreurs de signe et de côté : le « Left » de MediaPipe est bien la gauche du sujet, comme chez ARKit.

Dans Unity, l’iPhone passe par Live Capture 4.0.1, qui ne compile plus en Unity 6.5. Je l’ai intégré en code source et porté : EntityId 64 bits à la place des instanceID, TreeView générique, arbre du Take Organizer reconstruit depuis les chemins. Le mapper relie 69 blendshapes sur 5 renderers par correspondance exacte des noms ARKit.
La webcam reprend le système de la page web dans un tracker Python (OpenCV + MediaPipe) qui envoie ses paquets en UDP à Unity. Webcam et iPhone passent par le même filtre One Euro : au repos, la variation par image tombe de 0,026 à 0,005 ; un saut est suivi à 90 % en 100 ms.
iPhone ──Live Capture (port 9000)──► FaceActor ──► blendshapes + rotation (LiveCaptureHeadDriver)
webcam ──face_tracker.py (MediaPipe)──UDP 9100──► WebcamFaceDriver (EchoesHead)
└─ HSEmotion, 1 image sur 3 ──► WebcamFaceReceiver.TryGetEmotion()
Les 52 canaux décrivent des mouvements, pas un état. Pour revenir à l’idée de départ, le tracker classe aussi l’émotion du visage avec HSEmotion : 8 classes (colère, mépris, dégoût, peur, joie, neutre, tristesse, surprise). Le modèle ONNX tourne dans OpenCV DNN, déjà installé, sans aucun paquet de plus, sur le visage recadré d’après les repères MediaPipe.
- 8
- Classes d’émotions AffectNet, probabilités lissées sur 0,25 s.
- 33 ms
- Par inférence sur le Mac Intel : une image sur trois, environ 10 par seconde.
- 30 %
- De la rotation de la tête portée par le cou, le reste par la tête.
Chapitre 07 / 07
Sous le capot
Pour vérifier les matériaux et les intensités sans ouvrir le Rendering Debugger, la caméra HDRP bascule entre 29 passes de rendu, pilotées par script et exportées avec une planche contact.








L’image finale.
Pl. 24Huit des 29 passes, éclairage Arcane, exportées par RenderViewExporter.
GL.wireframe existe dans HDRP mais ne dessine que les passes forward : la tête, en deferred, n’en sort pas. Le fil de fer est donc un maillage de lignes construit par renderer, recuit à chaque image par BakeMesh et décollé de 0,4 mm le long des normales. Lux et luminance saturent en 8 bits : ils passent par une RenderTexture float avant d’être colorés.
Le même dépôt s’ouvre sur le Mac comme sur une station Windows RTX : au chargement de l’éditeur, les assets HDRP basculent vers leur variante ray-tracée sur Windows + DX12 + DXR, et reviennent aux assets de base sur Metal.
- Projet
- Projet personnel
- Période
- 12 → 15 novembre 2026
- Rôle
- Rig, lookdev, éclairage, pipeline, développement
- Journal
- 8 billets Blender, 20 entrées de devlog Unity
- Blender 4.5 · Cycles
- Faceit
- Python · numpy
- three.js
- MediaPipe
- Unity 6.5 · HDRP 17.5
- C#
- Live Capture
- OpenCV DNN
- HSEmotion
La suite : un travelling avant de 30 secondes, du plan large jusqu’aux yeux, sur un rire, est déjà monté en aperçu dans la lumière calme. Il reste à calibrer les plages des canaux sur de vrais visages, à la webcam puis à l’iPhone, à régler le filtre One Euro sur une vraie capture, et à brancher l’émotion détectée sur l’éclairage : une bascule d’Arcane vers Calme selon l’humeur de la personne en face. Côté look, la barbe poil par poil est maintenant la partie la plus chargée de l’image ; elle passera en cinq ou six grandes masses, comme les sourcils.