Cloudflare : des 403 signalés pour Googlebot et Bingbot avec le blocage AI Training

L’essentiel

• Sur Reddit, un webmaster affirme que l’option AI Training réglée sur Block chez Cloudflare renvoie des 403 à Googlebot et Bingbot sur son sitemap.
• Selon lui, l’accès revient quand l’option est désactivée, et le Bot Fight Mode produit le même effet.
• John Mueller (Google) lui a proposé d’échanger en message privé, sans se prononcer sur le fond.
• Ni Cloudflare ni Google n’ont confirmé de problème au 4 août 2026.

Le témoignage : un sitemap refusé, puis de nouveau accessible

Roger Montti a relayé le cas le 4 août 2026 dans Search Engine Journal, à partir d’une discussion publiée sur Reddit. L’auteur du message testait la rubrique « AI Crawlers & Scrapers » du tableau de bord Cloudflare, qu’il présente comme nouvelle, avec l’entraînement IA (AI Training) en position Block. Il dit avoir alors constaté que Googlebot et Bingbot recevaient un code HTTP 403 (accès interdit) en voulant récupérer son sitemap. Le blocage désactivé, le fichier redevenait accessible.

Plus loin dans la discussion, il signale un second cas. Avec le Bot Fight Mode, une autre protection anti-robots de Cloudflare, l’envoi du sitemap se soldait aussi par une 403, qui disparaissait une fois ce mode coupé. Son hypothèse : Cloudflare rangerait désormais Googlebot et Bingbot parmi les robots « Search + Training », c’est-à-dire à double usage. Un autre participant a suggéré que seuls de faux Googlebot, qui usurpent son user-agent, étaient arrêtés. L’auteur conteste : d’après lui, la section consacrée aux robots IA du tableau de bord affichait les deux robots comme bloqués automatiquement.

Google demande des précisions, Cloudflare ne s’exprime pas

John Mueller a invité l’auteur à lui écrire en message privé pour regarder le cas de plus près. Il n’a rien dit publiquement sur le fond. Search Engine Journal ne fait état d’aucune réaction de Cloudflare, et l’article ne rapporte aucune réponse à la question posée par l’auteur sur un moyen propre de contourner le blocage. Roger Montti lui-même ne tranche pas : rien ne permet de dire à ce stade s’il s’agit d’un raté ponctuel ou d’une erreur de configuration.

La documentation de Cloudflare ne nomme pas les moteurs de recherche

La page de Cloudflare consacrée au blocage des bots IA classe les robots selon leur comportement. Search regroupe ceux qui collectent ou indexent des contenus pour répondre plus tard à des questions. Agent couvre l’activité automatisée menée en temps réel pour le compte d’une personne. Training vise la collecte servant à entraîner ou à affiner un modèle. Pour chacun, trois réglages sont possibles : blocage sur tout le site, blocage limité aux pages qui affichent de la publicité, ou autorisation.

Un passage pourrait expliquer le témoignage. Cloudflare indique que « les crawlers à usage mixte, qui combinent Search et Training, seront aussi bloqués par toutes les configurations qui bloquent l’entraînement IA » (traduction), ancienne option « Block AI bots » comprise. Jusqu’ici, cette ancienne option laissait de côté les robots à double usage, qui se réglaient séparément. Les nouveaux réglages par défaut entrent en vigueur le 15 septembre 2026 pour les nouveaux domaines : Training et Agent bloqués sur les pages avec publicité, Search autorisé. Tous les clients peuvent refuser ces réglages avant cette date.

La page ne cite ni Googlebot ni Bingbot. La liste des catégories de robots vérifiés les place dans l’ancienne catégorie « Search Engine Crawler », sans préciser à quel comportement ils correspondent dans la nouvelle classification. Roger Montti relève d’ailleurs que le blocage des robots à usage mixte est programmé pour septembre, ce qui rend surprenant un blocage constaté dès le début du mois d’août.

Comment vérifier que Googlebot passe toujours

Dans la Search Console, le rapport Statistiques sur l’exploration (menu Paramètres) ventile les requêtes de Googlebot par code de réponse. Une hausse soudaine des 403 est le signal le plus net. Le test en direct de l’outil d’inspection d’URL montre si Googlebot récupère la page ou se heurte à un refus, et le rapport Sitemaps signale un fichier impossible à lire. Côté Bing, Bing Webmaster Tools dispose aussi d’une inspection d’URL.

Les journaux serveur ne suffisent pas. Cloudflare bloque en bordure de réseau, donc la requête n’atteint jamais le serveur d’origine : les logs montrent une baisse des passages de Googlebot, pas les 403 eux-mêmes. Pour les voir, il faut passer par le journal des événements de sécurité de Cloudflare, filtré par user-agent. Les réglages à passer en revue :

• les politiques par comportement (Search, Agent, Training) et le sort réservé aux robots à usage mixte ;
• l’ancienne option Block AI bots, si elle est encore active ;
• le Bot Fight Mode ;
• les règles WAF personnalisées et les limitations de débit qui ciblent des user-agents, des pays ou des plages d’IP ;
• les outils de contrôle du crawl de Cloudflare, s’ils sont activés.

Ce que j’en retiens

Un témoignage isolé et non confirmé ne prouve pas que Cloudflare bloque Googlebot. Le risque n’a pourtant rien de théorique. Les options anti-IA se multiplient, et la documentation reste floue sur le classement des robots à double usage, au point de ne nommer aucun moteur de recherche. La date du 15 septembre est à noter dans l’agenda.

Avant d’activer un blocage de bots, je regarderais l’état des statistiques d’exploration, puis je les surveillerais dans les jours qui suivent, avec un test en direct sur le sitemap et sur quelques pages qui comptent. Si un prestataire gère votre compte Cloudflare, demandez-lui la liste des règles actives. Une protection pensée contre les aspirateurs de contenus peut tout à fait fermer la porte aux moteurs de recherche sans que personne ne le remarque tout de suite.