Cloudflare : les nouveaux réglages par défaut contre les bots IA entrent en vigueur

L’essentiel

• Depuis le 15 septembre 2026, Cloudflare applique de nouveaux réglages par défaut aux domaines qui rejoignent son réseau.
• Les robots classés Search restent autorisés ; Training et Agent sont bloqués sur les pages qui affichent de la publicité.
• Googlebot, Applebot et Bingbot sont bloqués chez tout client qui bloque Training, y compris via l’ancienne option.
• Pour les domaines déjà en place, Cloudflare n’écrit nulle part que le blocage s’active automatiquement.

Search, Agent, Training : les robots classés par usage

Cloudflare a présenté ces changements le 1er juillet 2026, pour son deuxième « Content Independence Day », dans un billet intitulé « Your site, your rules: new AI traffic options for all customers » (votre site, vos règles). L’idée : trier les robots selon ce qu’ils font du contenu, et non plus selon leur éditeur. La catégorie Search regroupe ceux qui collectent ou indexent une page pour pouvoir répondre plus tard à des questions sur son contenu. Agent désigne les automatismes qui agissent pour un internaute, le plus souvent en temps réel : robots de récupération des assistants conversationnels (le billet cite ChatGPT-User) ou agents qui pilotent un navigateur. Training, enfin, vise l’exploration destinée à entraîner ou affiner un modèle.

Chaque catégorie accepte trois positions, détaillées dans la documentation de Cloudflare : blocage sur tout le domaine, blocage limité aux pages qui affichent des publicités (repérées par une détection automatique), ou aucun blocage. Les réglages se trouvent dans Security Settings, rubrique Configure AI bot policies. Le billet précise qu’ils sont ouverts à tous les clients, offre gratuite comprise. Pour mesurer la portée du dispositif, Cloudflare rappelle que plus de 20 % des domaines du web sont derrière son réseau.

Nouveaux domaines : Training et Agent bloqués sur les pages avec publicité

Sur ce point, le billet ne laisse pas de place au doute : « pour tous les nouveaux domaines qui rejoignent Cloudflare, les catégories Training et Agent seront bloquées par défaut sur les pages qui affichent des publicités » (traduction). Search reste autorisé. Cloudflare justifie ce choix ainsi : une page financée par la publicité vit de l’attention de visiteurs humains, pas de robots qui la lisent à leur place.

Le statut de robot vérifié change aussi de portée. Les robots non vérifiés restent bloqués par défaut, mais Cloudflare « ne considère plus Verified comme “autorisé par défaut” » (traduction). Un robot vérifié est désormais autorisé seulement dans la limite de sa catégorie. La documentation, elle, indique que l’ancienne option « Block AI bots » est en cours de retrait, avec une échéance fixée au 15 septembre 2026.

Côté robots.txt, Cloudflare teste un quatrième champ facultatif pour ses Content Signals, baptisé use. Il prend trois valeurs : immediate (interagir avec la page sans rien stocker), reference (indexer, citer un extrait et renvoyer un lien, valeur par défaut) et full (résumer et reproduire). Il s’agit d’une préférence déclarée, pas d’un blocage. Les clients qui ont activé le robots.txt géré par Cloudflare verront use=reference ajouté à leur fichier.

Googlebot, Applebot et Bingbot : la règle la plus restrictive l’emporte

C’est le passage qui concerne directement le référencement. Un même crawler peut servir à plusieurs usages, et Cloudflare tranche en appliquant « les règles applicables les plus restrictives » (traduction). Le billet nomme Googlebot, Applebot et BingBot : ces robots polyvalents seront bloqués chez les clients qui ont choisi de bloquer Training, que ce choix passe par les nouvelles options ou par l’ancien service Block AI bots.

La documentation va dans le même sens pour les nouvelles configurations : les crawlers mixtes, qui combinent Search et Training, sont bloqués par tout réglage qui bloque l’entraînement. Elle dit pourtant l’inverse dans la section réservée à l’ancienne option, présentée comme excluant « les bots mixtes utilisés à la fois pour Training et pour Search » (traduction). Les deux affirmations figurent sur la même page, mise à jour le 1er juillet, sans explication. Le billet, plus récent, range explicitement l’ancien service parmi ceux qui bloquent Googlebot.

Domaines existants : un périmètre qui reste flou

Pour les domaines déjà protégés par Cloudflare, aucun texte ne dit que le blocage par défaut s’active ce 15 septembre. Le billet annonce de nouveaux réglages par défaut à cette date, puis ne les décrit que pour les nouveaux domaines. Il prévoyait pourtant une porte de sortie : jusqu’au 15 septembre, un client pouvait indiquer dans ses Security Settings qu’il ne voulait aucun changement sur les crawlers Training qui explorent aussi pour la recherche. Cette précaution laisse entendre que des domaines existants peuvent être concernés. Cloudflare ne l’écrit pas clairement.

Pour rappel, des cas de Googlebot et Bingbot recevant des erreurs 403 derrière le blocage des bots IA de Cloudflare avaient été signalés le 4 août. La règle des crawlers mixtes en donne une explication plausible, à condition que le blocage de Training ait été activé sur les sites touchés. C’est une lecture, pas une confirmation de Cloudflare.

Ce que j’en retiens

Les réglages par défaut ne me paraissent pas être le vrai risque : ils laissent passer Search. Le danger vient du site qui a coché « bloquer Training » pour tenir ses contenus à l’écart des modèles d’IA et qui, du même coup, ferme la porte à Googlebot. Google documente un jeton distinct, Google-Extended, à déclarer dans le robots.txt pour refuser l’usage des contenus par Gemini (entraînement et ancrage des réponses) sans toucher à l’exploration ni au classement dans la recherche. Pour un site qui vit du trafic organique, c’est la voie la moins risquée. Sur tout site derrière Cloudflare, je ferais ces vérifications dès aujourd’hui :

1. dans Security Settings, contrôler la position de Training dans Configure AI bot policies, ainsi que l’état de l’ancienne option Block AI bots ;
2. dans la Search Console, ouvrir le rapport « Statistiques sur l’exploration » et suivre la part de réponses 403 dans les jours qui viennent ;
3. passer quelques URL importantes au test en direct de l’outil d’inspection d’URL ;
4. chercher Googlebot et Bingbot dans les événements de sécurité de Cloudflare.

Si Googlebot apparaît bloqué, repasser Training sur « Allow » devrait lever le blocage. Le prix à payer : les autres robots d’entraînement passeront aussi, et il faudra les refuser un par un, dans le robots.txt ou par des règles de pare-feu.