Libre · 100 % local · GPL-3.0
Un laboratoire d'exploration visuelle pour l'histoire de l'art
PixPlot v2 cartographie des dizaines ou des centaines de milliers d'œuvres selon leurs ressemblances, retrouve des parentés formelles et des détails récurrents, et transmet ses découvertes à un modèle de langage, sans jamais perdre la trace de l'origine de chaque résultat.
Dernière version : v0.13.5 · historique
Qui fait quoi
Une ressemblance calculée est une piste, pas une preuve d'influence ni d'attribution. PixPlot sépare les rôles.
calcule, observe et organise.
questionne et propose.
vérifie, interprète et construit le savoir.

Tout WikiArt, sur un seul PC
Ingestion, vecteurs DINOv3 et SigLIP 2, index de 1,58 million de zones d'image, groupes, carte, audit à l'aveugle et banc d'essai : de bout en bout, sur une AMD Radeon RX 7900 GRE, sous Windows 11, avec 16 Go de RAM.
Quatre regards
Chaque regard répond à une question différente. Les comparer dit pourquoi deux œuvres se ressemblent, et leurs désaccords sont une information en soi.
Forme
Formes, composition, motifs.
Quelle mise en page ?
Sujet
Ce qu'on décrirait avec des mots : sujet, genre, école.
Que représente-t-elle ?
Couleur
Proportions des teintes, des clartés et des saturations.
Quelle palette ?
Touche
Facture et trait, indépendamment du sujet.
Quelle facture ?
Ce qu'il fait
Un Atlas interactif, pensé pour la recherche plutôt que pour la vitrine.
Chercher de trois façons
Par métadonnées, par description libre en français ou en anglais, ou par détail : un cadre autour d'une main, d'un drapé, d'un objet, et l'on retrouve les zones semblables dans tout le corpus.
Des groupes qui se nomment
Groupes nommés d'après un vocabulaire d'histoire de l'art : « Retables · tempera sur bois » (Fra Angelico). Des propositions, à vérifier.
Une carte par regard
Plus les dispositions chronologique et géographique (fond de carte du monde, hors ligne), un comparateur jusqu'à six œuvres et un carnet de recherche.
Un regard critique sur le catalogue
Audit à l'aveugle et liste des étiquettes à vérifier : les œuvres que toutes leurs voisines contredisent, erreur de catalogue ou œuvre singulière.
Collections de musées
N'importe quel manifeste ou collection IIIF v2/v3, avec métadonnées normalisées et droits. Validé sur le Yale Center for British Art.
Avec Claude
Un serveur MCP à 15 outils : Claude cherche, regarde les images et les détails, compare et écrit dans votre carnet, selon des consignes de prudence d'interprétation.
Chaque résultat est un run versionné (modèle, paramètres, run parent). Les Research Packs (.zip) réunissent images, métadonnées sourcées, relations explicites et provenance, pour un collègue ou un autre LLM.
Ce que les expériences ont montré
Mesuré sur les 80 716 œuvres de WikiArt : part des 10 plus proches voisines qui partagent l'étiquette de l'œuvre.
| Regard | artiste | style | genre | Pointillisme | Fauvisme |
|---|---|---|---|---|---|
| Forme (DINOv3) | 50,8 % | 52,4 % | 76,8 % | 21 % | 20 % |
| Sujet (SigLIP 2) | 61,6 % | 62,0 % | 79,5 % | 44 % | 26 % |
| Touche | 53,0 % | 49,6 % | 62,8 % | 62 % | 30 % |
Le sujet l'emporte sur la manière pour un modèle purement visuel : l'espace texte-image retrouve le mieux les catégories de l'histoire de l'art, en partie parce qu'il en a appris les noms sur le web.
La touche rattrape les styles définis par la facture (Pointillisme : 21 % → 62 %) et reconnaît mieux la main de l'artiste que la forme.
Les copies sont retrouvées au premier rang parmi 80 716 œuvres (Raphaël d'après Pérugin, Van Gogh d'après Millet, Manet d'après Goya) ; mais dès que l'artiste transforme son modèle (Picasso d'après El Greco), aucun regard ne suit.
Les étiquettes elles-mêmes sont parfois fausses : l'audit fait remonter de vraies erreurs de catalogue. Et HDBSCAN ne passe pas l'échelle sur un continuum aussi dense.
La carte entière
142 groupes, en couleurs. En zoomant, chaque vignette est une vraie image que l'on ouvre, compare et annote.

Feuille de route
La règle : mesurer avant d'ajouter. Un nouveau modèle n'entre dans le projet que s'il gagne sur un banc d'essai et apporte un signal que les regards existants n'ont pas.
- 0.1–0.11
Fait
Ingestion, quatre regards, Atlas, recherche par détail et par texte, serveur MCP, IIIF, une carte par regard, banc d'essai par paires, groupes Leiden emboîtés.
- 0.12
Désaccords, et relecture des paires · outils faits, relecture en cours
Les œuvres qu'un regard rapproche et qu'un autre sépare ; un panneau pour valider les paires de référence.
Réussi si : environ 100 paires validées couvrant toutes les sortes de ressemblance.
- 0.13
Chercher une zone avec des mots
« auréole », « main qui bénit », « crâne » : une phrase confrontée aux zones des images. TIPSv2 mesuré sur RichArt et non retenu : SigLIP 2 sur des zones découpées fait mieux.
Fait avec un index de zones SigLIP 2 : 1,6 million de zones, cherchables dans l'Atlas.
- 0.14
Nommer les groupes avec Iconclass
La classification iconographique de référence des musées, avec son code comme source vérifiable.
- 0.15
La composition
STELLAR (ce qui est représenté et où), testé sur les filiations validées.
La feuille de route complète, avec ce qui est écarté : ROADMAP.fr.md.
Démarrer
Python 3.12. Un GPU aide (AMD ROCm sous Windows, ou CUDA), mais toute la chaîne tourne aussi sur le processeur pour tester. Voir le guide GPU.
# installer python -m venv .venv .venv\Scripts\activate # Linux / macOS : source .venv/bin/activate pip install -e ".[dev,ml]" # un corpus, de bout en bout pixplot ingest "D:/MesImages" # catalogue, vignettes, doublons pixplot import-metadata meta.csv # artiste, date, style… (colonne « path » obligatoire) pixplot embed # vecteurs DINOv3 (GPU), reprenable pixplot analyze # groupes, carte UMAP, voisinages pixplot serve --open # l'Atlas sur http://127.0.0.1:8765
Ou toute la chaîne d'un coup, avec un journal chronométré :
bash scripts/full_pipeline.sh data/mon_corpus "Ma source". Aucune image ne quitte votre ordinateur.
Auteur
Riyadh HADJBA, étudiant en histoire de l'art à l'Université de Strasbourg. PixPlot v2 a été conçu et dirigé par Riyadh HADJBA, et écrit avec l'aide de Claude (Anthropic).
Inspiré de PixPlot (Yale DHLab, 2018) ; réécrit de zéro.
Crédits
- Modèles : DINOv3 (Meta, licence DINOv3, poids jamais redistribués), SigLIP 2 (Google, Apache 2.0).
- Bibliothèques : FAISS, e-means, UMAP, scikit-learn, deck.gl, FastAPI, le SDK Python MCP.
- Fond de carte : world-atlas, d'après Natural Earth.
- Vocabulaire des noms de groupes en partie d'après H. Honour et J. Fleming, The Visual Arts: A History (2023).
- Corpus d'essai : WikiArt via huggan/wikiart et le Yale Center for British Art (IIIF). Aucune image de corpus n'est stockée dans le dépôt.
