Libre · 100 % local · GPL-3.0

Un laboratoire d'exploration visuelle pour l'histoire de l'art

PixPlot v2 cartographie des dizaines ou des centaines de milliers d'œuvres selon leurs ressemblances, retrouve des parentés formelles et des détails récurrents, et transmet ses découvertes à un modèle de langage, sans jamais perdre la trace de l'origine de chaque résultat.

Dernière version : v0.13.5 · historique

Qui fait quoi

Une ressemblance calculée est une piste, pas une preuve d'influence ni d'attribution. PixPlot sépare les rôles.

PixPlot

calcule, observe et organise.

Le modèle de langage

questionne et propose.

L'historien de l'art

vérifie, interprète et construit le savoir.

L'Atlas : 80 716 œuvres, la fiche d'un Claude Monet et ses plus proches voisines

Tout WikiArt, sur un seul PC

Ingestion, vecteurs DINOv3 et SigLIP 2, index de 1,58 million de zones d'image, groupes, carte, audit à l'aveugle et banc d'essai : de bout en bout, sur une AMD Radeon RX 7900 GRE, sous Windows 11, avec 16 Go de RAM.

80 716œuvres (33,7 Go d'images)
≈ 1 h 21pour toute la chaîne
≈ 3 spour charger la carte, toutes les vignettes à l'écran
0,25 spar recherche, par texte ou par détail

Quatre regards

Chaque regard répond à une question différente. Les comparer dit pourquoi deux œuvres se ressemblent, et leurs désaccords sont une information en soi.

DINOv3

Forme

Formes, composition, motifs.

Quelle mise en page ?

SigLIP 2

Sujet

Ce qu'on décrirait avec des mots : sujet, genre, école.

Que représente-t-elle ?

CIELAB

Couleur

Proportions des teintes, des clartés et des saturations.

Quelle palette ?

DINOv3, couches intermédiaires

Touche

Facture et trait, indépendamment du sujet.

Quelle facture ?

Ce qu'il fait

Un Atlas interactif, pensé pour la recherche plutôt que pour la vitrine.

Chercher de trois façons

Par métadonnées, par description libre en français ou en anglais, ou par détail : un cadre autour d'une main, d'un drapé, d'un objet, et l'on retrouve les zones semblables dans tout le corpus.

Des groupes qui se nomment

Groupes nommés d'après un vocabulaire d'histoire de l'art : « Retables · tempera sur bois » (Fra Angelico). Des propositions, à vérifier.

Une carte par regard

Plus les dispositions chronologique et géographique (fond de carte du monde, hors ligne), un comparateur jusqu'à six œuvres et un carnet de recherche.

Un regard critique sur le catalogue

Audit à l'aveugle et liste des étiquettes à vérifier : les œuvres que toutes leurs voisines contredisent, erreur de catalogue ou œuvre singulière.

Collections de musées

N'importe quel manifeste ou collection IIIF v2/v3, avec métadonnées normalisées et droits. Validé sur le Yale Center for British Art.

Avec Claude

Un serveur MCP à 15 outils : Claude cherche, regarde les images et les détails, compare et écrit dans votre carnet, selon des consignes de prudence d'interprétation.

Chaque résultat est un run versionné (modèle, paramètres, run parent). Les Research Packs (.zip) réunissent images, métadonnées sourcées, relations explicites et provenance, pour un collègue ou un autre LLM.

Ce que les expériences ont montré

Mesuré sur les 80 716 œuvres de WikiArt : part des 10 plus proches voisines qui partagent l'étiquette de l'œuvre.

RegardartistestylegenrePointillismeFauvisme
Forme (DINOv3)50,8 %52,4 %76,8 %21 %20 %
Sujet (SigLIP 2)61,6 %62,0 %79,5 %44 %26 %
Touche53,0 %49,6 %62,8 %62 %30 %

Le sujet l'emporte sur la manière pour un modèle purement visuel : l'espace texte-image retrouve le mieux les catégories de l'histoire de l'art, en partie parce qu'il en a appris les noms sur le web.

La touche rattrape les styles définis par la facture (Pointillisme : 21 % → 62 %) et reconnaît mieux la main de l'artiste que la forme.

Les copies sont retrouvées au premier rang parmi 80 716 œuvres (Raphaël d'après Pérugin, Van Gogh d'après Millet, Manet d'après Goya) ; mais dès que l'artiste transforme son modèle (Picasso d'après El Greco), aucun regard ne suit.

Les étiquettes elles-mêmes sont parfois fausses : l'audit fait remonter de vraies erreurs de catalogue. Et HDBSCAN ne passe pas l'échelle sur un continuum aussi dense.

La carte entière

142 groupes, en couleurs. En zoomant, chaque vignette est une vraie image que l'on ouvre, compare et annote.

Vue d'ensemble des 80 716 œuvres colorées par groupe

Feuille de route

La règle : mesurer avant d'ajouter. Un nouveau modèle n'entre dans le projet que s'il gagne sur un banc d'essai et apporte un signal que les regards existants n'ont pas.

  1. 0.1–0.11

    Fait

    Ingestion, quatre regards, Atlas, recherche par détail et par texte, serveur MCP, IIIF, une carte par regard, banc d'essai par paires, groupes Leiden emboîtés.

  2. 0.12

    Désaccords, et relecture des paires · outils faits, relecture en cours

    Les œuvres qu'un regard rapproche et qu'un autre sépare ; un panneau pour valider les paires de référence.

    Réussi si : environ 100 paires validées couvrant toutes les sortes de ressemblance.

  3. 0.13

    Chercher une zone avec des mots

    « auréole », « main qui bénit », « crâne » : une phrase confrontée aux zones des images. TIPSv2 mesuré sur RichArt et non retenu : SigLIP 2 sur des zones découpées fait mieux.

    Fait avec un index de zones SigLIP 2 : 1,6 million de zones, cherchables dans l'Atlas.

  4. 0.14

    Nommer les groupes avec Iconclass

    La classification iconographique de référence des musées, avec son code comme source vérifiable.

  5. 0.15

    La composition

    STELLAR (ce qui est représenté et où), testé sur les filiations validées.

La feuille de route complète, avec ce qui est écarté : ROADMAP.fr.md.

Démarrer

Python 3.12. Un GPU aide (AMD ROCm sous Windows, ou CUDA), mais toute la chaîne tourne aussi sur le processeur pour tester. Voir le guide GPU.

# installer
python -m venv .venv
.venv\Scripts\activate                 # Linux / macOS : source .venv/bin/activate
pip install -e ".[dev,ml]"

# un corpus, de bout en bout
pixplot ingest "D:/MesImages"          # catalogue, vignettes, doublons
pixplot import-metadata meta.csv       # artiste, date, style… (colonne « path » obligatoire)
pixplot embed                          # vecteurs DINOv3 (GPU), reprenable
pixplot analyze                        # groupes, carte UMAP, voisinages
pixplot serve --open                   # l'Atlas sur http://127.0.0.1:8765

Ou toute la chaîne d'un coup, avec un journal chronométré : bash scripts/full_pipeline.sh data/mon_corpus "Ma source". Aucune image ne quitte votre ordinateur.

Auteur

Riyadh HADJBA, étudiant en histoire de l'art à l'Université de Strasbourg. PixPlot v2 a été conçu et dirigé par Riyadh HADJBA, et écrit avec l'aide de Claude (Anthropic).

Inspiré de PixPlot (Yale DHLab, 2018) ; réécrit de zéro.

Crédits

  • Modèles : DINOv3 (Meta, licence DINOv3, poids jamais redistribués), SigLIP 2 (Google, Apache 2.0).
  • Bibliothèques : FAISS, e-means, UMAP, scikit-learn, deck.gl, FastAPI, le SDK Python MCP.
  • Fond de carte : world-atlas, d'après Natural Earth.
  • Vocabulaire des noms de groupes en partie d'après H. Honour et J. Fleming, The Visual Arts: A History (2023).
  • Corpus d'essai : WikiArt via huggan/wikiart et le Yale Center for British Art (IIIF). Aucune image de corpus n'est stockée dans le dépôt.