La démarche

Partir d’un souvenir, et ne changer que le monde autour.

La photo d’abord

Tout part d’une photo : un lieu, un cadrage, un moment, des personnes. Quelqu’un était là et a choisi de déclencher ; c’est cette part humaine que je garde. Je ne demande pas à l’IA de fabriquer une image, ni d’en imaginer une à partir d’un texte. Je lui demande de transposer celle-là dans une dystopie : le même lieu, le même instant, dans un monde qui a mal tourné.

Chaque dystopie est un thème. Le premier est l’abandon : deux ans, dix ans, cinquante ans après que tout le monde est parti. D’autres suivent : la sécheresse, la guerre, la pollution, la montée des eaux.

Une contrainte plutôt qu’un effet

En regardant le résultat, on doit reconnaître la photo, et rien d’autre que ce que la dystopie y a changé.

Une version qui s’écarte trop de la photo est écartée. Ce qui m’intéresse est l’écart entre les deux images : ce qui a disparu, et ce qui est resté.

Le procédé

Pour l’abandon, chaque photo passe par trois seuils, deux, dix et cinquante ans, et chacun repart du précédent. Les consignes données au modèle génératif sont les mêmes pour toutes les photos : aucune n’est écrite pour une image en particulier, et rien n’est retouché à la main.

  1. Lire la photo : ce qui est ciel, bâtiment, sol, végétation, eau, véhicule, personne ; la profondeur ; la mise au point. Tout cela tourne en local, avec des modèles ouverts (segmentation, profondeur, détourage).
  2. Décrire la scène vieillie à un modèle génératif, FLUX 3, avec une phrase par élément présent sur la photo et rien sur ce qui n’y est pas.
  3. Recaler et vérifier : le résultat est remis exactement sur la géométrie de la photo, et mesuré ; une version qui s’en écarte trop est refusée.
  4. Rendre à la photo ce qui lui appartient : têtes des personnes, lumière, netteté, grain, tonalité, en local.

Voici ces étapes sur une image, de la photo à l’image finale (escale 04, cinquante ans) :

Les coulisses

0. Photo d'origine

La photo d'origine, orientation corrigée. Chaque étape se compare à ce qui précède, et tout le reste du moteur s'y réfère : cadrage, lumière, ciel, netteté, grain.

Photo d'origine

1. Ce que le moteur repère

0.6 s

Le moteur repère, en local, ce que contient la photo : ciel, murs, sol (bitume, terre, herbe), végétation, véhicules, personnes, et des objets désignés par un mot avec SAM 3 (lumières, plaques, drapeaux, bois, eau). Il décide aussi s'il fait jour ou nuit. Ces présences choisissent les lignes du prompt et les zones retouchées ensuite. Couleurs de l'aperçu : ciel bleu, murs jaunes, sol gris, végétation verte, eau cyan, véhicules magenta, drapeaux orange, lumières jaune vif, plaques blanches, personnes rouges.

Ce que le moteur repère Étape d'avant AvantAprès
Réglages et mesures
prompts_modele
"flux3"
bord_de_mer
false
drapeaux
false
bois
false
eau
false
lumieres
true
nuit
false
vehicules
true
plaques
true
sol
{"bitume": 0.406, "terre": 0.0, "herbe": 0.001}
personnes_decrites
true
lignes
["bitume", "herbe", "vehicules", "plaques", "lumieres", "personnes"]
niveau
"hard"
annees
50

2. Le texte envoyé au modèle

0 s

Le texte envoyé au modèle est assemblé : la phrase du seuil (durée de l'abandon), puis une ligne par élément présent sur la photo (bitume, véhicules, plaques, lumières…). Rien n'est écrit sur ce qui est absent.

Edit image 1 to show this place after fifty years of total abandonment, taken back by nature. Keep the exact framing, perspective, buildings, trees, poles and vehicles in their places with their shapes, with the same light and sky as image 1. Let the existing trees and hedges grow much larger and wilder. Replace the clean facades with dark, stained walls covered in black mould and ivy, with broken windows and thick brambles piled against the foot of the walls. Cover most of the roads and sidewalks with dense wild vegetation: tall grass, brambles, bushes and young trees hide most of the asphalt, with only a few cracked, tilted and sunken slabs showing through; the kerbs disappear under moss and brambles. Turn the lawns and flower beds into a tall, dense tangle of wild grass, brambles, shrubs and young trees, the hedges overgrown and shapeless. Every vehicle is rusted through, the rust already on its bodywork spreading over it, with only a few faded flakes of its paint; its panels are dented, its bumpers sag or have fallen, its windows are cracked in spider-web patterns or shattered, its tyres flat, with dirt, dead leaves and moss on it and brambles climbing over its wheels and bodywork. Make every number plate rusted and blank. Switch off every street lamp, traffic light, car light, sign, screen and window light, and remove their glow and reflections. The people are unchanged, their skin, hair and clothes clean and fresh. Unedited phone photo.

3. Image de départ

0.1 s

L'image que le moteur va transformer : le résultat du seuil d'avant quand la version en part (chaîne soft → medium → hard, --depuis), ou une image préparée à part (--plaquage). Sans départ, c'est la photo elle-même.

Image de départ Étape d'avant AvantAprès
Réglages et mesures
traitements
[{"zone": "personnes", "part": 0.0017, "segmentation": "Mask2Former COCO + Grounding DINO + SAM 2.1 + SAM 3 (détourage)", "traitement": "exclues des retouches ; flux-3-image les garde (ombre, lumière) ; têtes de la photo recollées (SAM 3 visages, ViTMatte pour les mèches, LaMa pour effacer la tête du modèle)"}, {"zone": "ciel", "part": 0.1295, "segmentation": "Mask2Former COCO + Grounding DINO + S…
depuis
"rue1/abandon/medium/v039"

4. Préparation, avant le modèle

1.2 s

Retouches locales faites avant le modèle, sur l'image qu'il va recevoir (la photo, ou le seuil d'avant) : murs encrassés, plaques effacées, drapeaux délavés, marquages au sol usés, bois abattu, ciel du seuil d'avant ramené à celui de la photo. Le modèle bâtit sur ce qu'on lui donne : il garde ces changements et les prolonge.

Préparation, avant le modèle Étape d'avant AvantAprès
Réglages et mesures
ciel_recale
{"avant": 79.4, "apres": 78.9, "photo": 79.0}
plaques_effacees
{"nombre": 1, "force": 1.0, "part_de_l_image": 0.00045}
murs_encrasses
{"force": 0.357, "filtre": [0.42, 0.38, 0.32], "part_des_murs": 0.877}
lignes_usees
{"force": 0.7, "part_effacee": 0.8, "part_de_l_image": 0.0124}

5. Détourage des personnes

0.1 s

Les personnes sont détourées au pixel près (SAM 3). Ce masque les protège des retouches du décor et sert à les raccorder à la fin.

Détourage des personnes Étape d'avant AvantAprès

6. Le modèle

0.7 s

L'appel payant : le modèle (FLUX 3) transforme l'image préparée selon le prompt. Son image est recalée sur la photo (petit décalage ou zoom corrigé), puis la géométrie du décor est mesurée (1 = mêmes contours que la photo) ; trop basse, la version est abandonnée. Un appel identique déjà fait est repris du cache, sans frais.

Le modèle Étape d'avant AvantAprès
Réglages et mesures
photo_reference
false
recalage
0.94
geometrie
0.861

7. Appels en plus

0.3 s

Rien à faire ici : rien à faire.

Appels en plus, seulement s'ils servent : le second plan agrandi (--lointain, désactivé par défaut) et la piscine recadrée ; pour certains modèles, un rééclairage local.

Réglages et mesures
lointain
{"statut": "désactivé"}
piscine
null

8. Corrections après le modèle

26.1 s

Corrections locales après le modèle : marquages au sol usés une seconde fois (le modèle les redessine), grain du modèle débruité, courbe de tonalité ramenée à celle de la photo, voile atmosphérique remis, ciel ramené à la luminosité et à la couleur de celui de la photo. Les personnes gardent leur propre lumière.

Corrections après le modèle Étape d'avant AvantAprès
Réglages et mesures
lignes_usees_apres
{"force": 0.7, "part_effacee": 0.8, "part_de_l_image": 0.0}
grain_modele
{"modele": 3.39, "photo": 0.3, "debruite": 2.37}
voile_de_pres
{"noirs_premier_plan": 1.6, "part": 0.0}
courbe_tonale
{"5": 4.2, "25": 22.3, "50": 39.9, "75": 70.4, "95": 96.3}
voile_local
{"moyen": 0.012, "max": 0.219}
ciel_ramene
{"avant": [78.0, 1.6, 8.7], "apres": [79.0, 1.2, 15.1], "photo": [79.0, 1.2, 15.1]}

9. Visages recollés

0 s

Rien à faire ici : aucun visage au premier plan.

Les visages de la photo, au premier plan, sont recollés sur les personnes du modèle (ViTMatte pour les mèches, LaMa pour effacer la tête du modèle) : les gens restent reconnaissables.

Réglages et mesures
personnes
"personnes du modèle, têtes de la photo (0.00% de l'image)"

10. Netteté et grain

5.4 s

La netteté est ramenée à celle de la photo, tranche de profondeur par tranche de profondeur (le flou de l'arrière-plan revient), puis le grain du capteur de la photo est remis. C'est l'image finale.

Netteté et grain Étape d'avant AvantAprès
Réglages et mesures
nettete
{"0.05": 0.4, "0.15": 0.5, "0.30": 0.7, "0.70": 0.6}
mise_au_point
{"0.03": 0.0, "0.07": 0.0, "0.11": 0.0, "0.22": 0.0, "0.42": 0.0, "0.60": 0.0, "0.74": 0.0, "0.90": 0.0}

Ce que je cherche encore

Montrer le procédé

Chaque image publiée ici est montrée avec sa photo d’origine, et sa fiche dit ce qui vient de la photo, ce qui vient du modèle, et combien d’appels il a fallu.

Une limite, dite franchement : les modèles génératifs utilisés n’ont pas publié le détail de leurs données d’entraînement. L’éthique de ce travail tient donc à son usage : partir de mes propres photos, ne rien faire passer pour ce que ce n’est pas, montrer comment c’est fait.