ChatGPT : Google et l’API OpenAI ne retrouvent que 26 % des pages citées

Une équipe de la National University of Singapore et de l’Université Jiaotong de Xi’an a publié le 11 octobre 2026 sur arXiv une étude des citations de ChatGPT. Google et l’API OpenAI, utilisés ensemble comme substituts, ne retrouvent qu’environ un quart des pages que ChatGPT cite réellement. Le papier n’a pas été relu par des pairs.

L’essentiel

• 80 questions de Search Arena (moitié en anglais, moitié en chinois), chacune posée 20 fois à ChatGPT sur GPT-5.3 Instant et GPT-5.5 Instant, entre le 29 mars et le 29 juillet 2026 pour l’essentiel.
• Google (SerpAPI) et l’API Responses d’OpenAI réunis retrouvent 28,3 % des pages citées par GPT-5.3 Instant et 26,2 % de celles de GPT-5.5 Instant.
• Au niveau du site, la correspondance monte à 50,3 % et 48,7 %.
• 44,5 % des pages distinctes d’une question n’apparaissent que dans une seule des 20 exécutions de GPT-5.5 Instant.

Le protocole : des sessions ChatGPT réelles comparées à deux substituts

Les auteurs ont enregistré les flux de données de leurs propres sessions connectées à ChatGPT pour voir les recherches lancées, les résultats renvoyés et les pages citées, comme l’indique le compte rendu de Search Engine Journal. Les quatre réglages étudiés vont de ChatGPT 5.2 à 5.5, en modes Instant et Thinking, selon le résumé du papier sur arXiv (« Understanding ChatGPT Citations: Evidence from Production Web Search Across Model Generations »). GPT-5.2 Instant et GPT-5.4 Thinking ont moins d’exécutions, car ces modèles ont été retirés avant la fin de la collecte.

Deux substituts servent de comparaison : jusqu’à cinq pages de résultats organiques Google, soit environ 43 résultats par question, et 20 requêtes par question à gpt-5.3-chat-latest et gpt-5.5 via l’API Responses avec recherche web activée. Les requêtes API ont été lancées dans les trois jours suivant l’exécution ChatGPT correspondante.

Résultats : le site se retrouve, la page beaucoup moins

Google seul retrouve 9,4 % des pages citées par GPT-5.3 Instant et 6,4 % pour GPT-5.5 Instant, soit 26,1 % et 22,8 % des sites. Les listes de sources de l’API en retrouvent 22,9 % et 22,5 % au niveau des pages. Les auteurs écrivent que les substituts correspondent mieux à ChatGPT au niveau du nom d’hôte et de l’entité qu’à celui de l’URL exacte.

Le papier note aussi que les modèles Instant restent en grande partie sur un seul tour de recherche, alors que GPT-5.4 Thinking enchaîne souvent plusieurs tours. ChatGPT n’a jamais repris mot pour mot la question de l’utilisateur dans ses recherches visibles pour GPT-5.3 et GPT-5.5 (5,5 % des exécutions pour GPT-5.2). Pour les questions en chinois, environ 67 % (GPT-5.3) et 70 % (GPT-5.5) des recherches visibles étaient uniquement en anglais.

Variabilité et limites : des résultats datés par le modèle

D’une exécution à l’autre, 40,8 % des pages distinctes d’une question n’apparaissent qu’une fois sur 20 pour GPT-5.3 Instant. Les auteurs relèvent que les pages récupérées plus souvent sont aussi plus souvent citées. Deux sessions de collecte ont changé de modèle en cours de route, après 14 et 16 exécutions, d’où leur recommandation de vérifier quel modèle a produit chaque réponse. Tous les réglages testés précèdent GPT-5.6 et GPT-6 : les chiffres ne couvrent pas ces modèles, dont l’arrivée de GPT-6 dans ChatGPT a été annoncée le 7 octobre 2026. L’échantillon reste petit (80 questions) et issu d’une base d’interactions publique, pas du trafic d’un site donné.

Ce que j’en retiens

Ce papier met des chiffres sur ce que beaucoup d’outils de suivi de la visibilité dans les IA supposent sans le dire : interroger l’API ou Google ne reproduit pas ce que voit un utilisateur de ChatGPT. Je lis surtout la différence page/site comme un avertissement : un outil qui mesure l’URL exacte sous-estime la présence d’un domaine. Je reste prudent sur l’interprétation, car il s’agit d’un préprint, sur 80 questions, avec des modèles déjà dépassés.

Côté site, je vérifierais deux choses : le suivi de citations que vous utilisez indique-t-il s’il raisonne en URL ou en domaine, et vos mesures de trafic issu de ChatGPT tiennent-elles compte d’une variabilité aussi forte d’une exécution à l’autre ? Pour les sites qui veulent une présence suivie dans les moteurs de réponse IA, ces points se règlent avant de comparer des chiffres.