Mi-juillet 2026, un mot étrange s’invite dans toutes les discussions tech : pelicanmaxxing. Forgé par le développeur Dylan Castillo, ce néologisme a immédiatement trouvé un écho massif sur Hacker News, cumulant plus de 400 points en quelques heures. La question qu’il pose est aussi simple qu’inconfortable : les grands labs d’IA passent-ils leur temps à biaiser leurs modèles pour performer sur des benchmarks anecdotiques mais ultra-médiatisés ? Dans un climat où Satya Nadella met en garde les entreprises contre la captation de savoir-faire par les labs (Fortune, 16 juillet 2026) et où The Economist documente la menace chinoise sur les labos américains, la défiance grimpe. Le pelicanmaxxing cristallise ce malaise. Mais les faits sont-ils à la hauteur du buzz ?
Le pelicanmaxxing, c’est quoi ?
Le terme vient de la contraction de « pelican » et de « benchmaxxing ». Ce dernier désigne une pratique bien connue des évaluateurs de modèles : optimiser un LLM pour qu’il excelle sur un benchmark précis, au détriment de ses performances réelles. On parle aussi de « benchmark hacking » ou de « teaching to the test ».
Le pelicanmaxxing applique cette logique à un benchmark très particulier : la capacité d’un modèle à générer un SVG représentant un pélican sur un vélo. Ce test, popularisé par le développeur Simon Willison, est devenu un rituel à chaque sortie de nouveau modèle. Le prompt est toujours le même : « Generate an SVG of a pelican riding a bicycle ».
Si un labo entraîne spécifiquement son modèle pour réussir ce dessin, il pourrait séduire la communauté tech sans réellement progresser sur le fond. Dylan Castillo a voulu en avoir le cœur net.
Un benchmark culte, presque par accident
Simon Willison teste les LLM avec ce prompt depuis plusieurs années. À chaque lancement majeur (GPT-5, Claude 4, Gemini 3, etc.), il publie le résultat. Sur Hacker News, ses commentaires figurent souvent parmi les plus votés.
Le benchmark n’a rien de scientifique. Mais il est devenu un indicateur informel de la qualité visuelle et de la créativité d’un modèle. Le raisonnement est simple : si un LLM sait dessiner un pélican sur un vélo en SVG, c’est qu’il maîtrise la composition spatiale, les proportions et la syntaxe vectorielle. Un échec, à l’inverse, se voit immédiatement.
Avec des milliards de dollars en jeu et une couverture médiatique garantie, la tentation d’optimiser ce test semble évidente. D’où le soupçon de pelicanmaxxing.
L’expérience : 1008 images, 7 modèles, un protocole solide
Dylan Castillo a conçu un test comparatif d’une rigueur remarquable. Il a croisé 8 animaux (dont le pélican) avec 6 véhicules (dont le vélo), pour un total de 48 combinaisons. Le prompt original n’est qu’une cellule parmi les 48.
Voici les modèles testés via OpenRouter :
- GPT-5.6 Terra
- Claude Sonnet 5
- Gemini 3.5 Flash
- Grok 4.5
- Qwen3.7-Max
- GLM-5.2
- DeepSeek V4 Pro
Chaque combinaison a été générée 3 fois, à température 1.0, avec le même niveau d’effort de raisonnement demandé à chaque modèle. Total : 1008 images SVG.
Le pipeline d’évaluation comporte trois étapes. D’abord, chaque SVG est converti en PNG pour vérifier qu’il s’affiche correctement (seulement 11 échecs sur 1008, un taux remarquable). Ensuite, un juge LLM (GPT-5.6 Luna) attribue une note de 1 à 5 pour l’animal, le véhicule et la cohérence de l’action. Enfin, un extracteur (Gemini 3.1 Flash-Lite) analyse les éléments de la scène : orientation du sujet, accessoires, arrière-plan.
L’hypothèse est la suivante : si un labo fait du pelicanmaxxing, cela doit se voir sur la ligne « pélican », sur la colonne « vélo », ou sur la cellule « pélican + vélo » par rapport aux autres combinaisons.
Verdict : pas de pelicanmaxxing en vue
Les résultats, publiés intégralement sur le blog de Castillo et sur GitHub, sont clairs. Aucun des sept modèles testés ne montre de signe convaincant d’optimisation ciblée. Cinq constats principaux émergent.
1. Les pélicans ne sont pas mieux dessinés que les autres animaux. Sur les 8 espèces testées, le pélican arrive 6e en note moyenne, derrière le chat, la baleine, le raton laveur, le héron et l’antilope. Si les labs s’entraînaient sur le benchmark, les pélicans seraient en tête.
2. Les vélos sont mal notés. Parmi les 6 véhicules, le vélo se classe avant-dernier, juste devant l’avion. Le juge signale des roues mal alignées ou des pédales absentes dans deux tiers des images. Un labo qui optimiserait ce véhicule obtiendrait de meilleurs scores.
3. La combinaison pélican + vélo est 42e sur 48. Même sans ajustement de difficulté, le prompt star du benchmark se situe tout en bas du classement.
4. Aucun effet statistiquement significatif après correction. Castillo a appliqué une régression à effets fixes pour isoler l’impact spécifique du benchmark. Sur 21 tests (7 labs × 3 effets), un seul franchit le seuil de significativité : Gemini 3.5 Flash sur la colonne vélo, avec p=0.022. Mais avec 21 tests, le hasard prédit environ un faux positif. Après correction de Bonferroni, ce signal disparaît.
5. Le pélican regarde toujours à droite, mais ce n’est pas un indice. Toutes les images pélican + vélo (21 sur 21) montrent l’animal orienté vers la droite. Cela peut sembler suspect. Pourtant, 60 % des 1008 images suivent cette orientation. Sur l’ensemble de l’expérience, trois autres combinaisons atteignent 90 % ou plus d’orientation à droite. Un 21/21 sur 48 combinaisons n’a rien d’anormal.
Ce que l’expérience ne peut pas détecter
Deux limites importantes méritent d’être soulignées. D’abord, le juge est un modèle de la même famille qu’un des concurrents (GPT-5.6 Luna note GPT-5.6 Terra). Castillo anticipe l’objection : comme tous les modèles sont évalués sur les 48 combinaisons, un biais du juge relèverait la grille entière du modèle favori, sans créer de faux positif sur la cellule pélican + vélo.
Ensuite, l’expérience ne peut pas détecter ce que Castillo appelle le « SVGmaxxing » : une optimisation globale de la génération SVG, toutes combinaisons confondues. Google DeepMind, par exemple, revendique ouvertement ce type d’amélioration. Un labo qui SVGmaxxe serait meilleur partout, sans écart visible entre le pélican et les autres animaux.
Ce qu’il faut retenir
- Le pelicanmaxxing est un concept viral qui interroge l’intégrité des benchmarks informels dans l’IA.
- L’expérience de Dylan Castillo, menée sur 1008 images et 7 modèles, ne trouve aucune preuve de triche ciblée sur le prompt « pélican à vélo ».
- Les labs ne dessinent pas mieux les pélicans que les autres animaux, ni les vélos que les autres véhicules.
- Le seul résultat intrigant (tous les pélicans à droite) s’explique par les contraintes naturelles de composition d’image.
- Les optimisations globales de la génération SVG restent possibles et indétectables par ce protocole.
Vous avez un avis sur le sujet ou une expérience similaire à partager ? Passez me voir sur LinkedIn ou laissez un commentaire, j’échange toujours avec plaisir sur ces sujets. Et si ce type de décryptage vous intéresse, le blog publie régulièrement des analyses sur la sécurité, le DevOps et l’écosystème IA.
Sources
- Are AI labs pelicanmaxxing ?, Dylan Castillo (article source, juillet 2026)
- Fortune, Satya Nadella warns enterprises that AI labs are stealing their know-how (16 juillet 2026)
- The Economist, America’s AI labs are under threat from cheap Chinese rivals (21 juillet 2026)
- Nextgov/FCW, US AI labs are emerging target for foreign spies (21 juillet 2026)
- Code et données de l’expérience, GitHub