Robots.txt : Google détaille les 4 directives lues, des robots IA aux emojis
Le 21 octobre 2026, Gary Illyes et Cherry Prommawin ont précisé ce que Google lit dans un robots.txt : quatre directives, des noms de robots en lettres et tirets, des chemins encodés.
Le 21 octobre 2026, Gary Illyes et Cherry Prommawin ont détaillé dans la série vidéo « Non-Canonical Cabinet » de Google ce qu’un fichier robots.txt peut contenir, d’après le compte rendu de Search Engine Roundtable. Les points à retenir : seules quatre directives sont lues, un emoji ne peut pas servir de nom de robot, et les chemins non ASCII gagnent à être encodés en pourcentage.
L’essentiel
- Google suit la norme RFC 9309 et ne lit que les directives
user-agent,allow,disallowetsitemap. - Une ligne que le parseur ne comprend pas est ignorée sans erreur, comme l’exemple « don’t crawl secret page » (traduction) cité par Gary Illyes.
- Gary Illyes indique qu’un nom de robot ne peut contenir que des lettres et des tirets : un emoji, ou un caractère chinois ou arabe, n’est pas valide.
- Cherry Prommawin conseille d’encoder les chemins en pourcentage pour les robots autres que celui de Google.
Quatre directives, le reste est écarté
La spécification robots.txt de Google le confirme : le moteur prend en charge user-agent, allow, disallow et sitemap, et précise que d’autres champs, comme crawl-delay, ne le sont pas. Les lignes invalides sont ignorées. Dans la vidéo, Gary Illyes en tire une conséquence pratique : une consigne rédigée en langage courant n’a aucun effet, et la page visée peut très bien être explorée.
Les commentaires commencent par le signe dièse et tout ce qui suit est ignoré. Cherry Prommawin en déduit qu’un dessin en caractères ASCII placé dans un commentaire ne gêne pas l’analyse.
Robots IA : nommer le jeton exact du robot
Pour un robot d’exploration d’IA, le principe ne change pas : il faut écrire dans user-agent le jeton qu’il reconnaît, une règle descriptive ne sera pas comprise. Gary Illyes rappelle aussi la portée du protocole : robots.txt exprime une préférence d’accès, il indique si un robot peut explorer une page, pas ce que l’entreprise fait ensuite des données. Un robot qui n’applique pas la norme n’est pas arrêté par ce fichier.
Emojis et URL internationales : l’encodage en pourcentage
D’après le compte rendu de Search Engine Roundtable, un emoji est un caractère UTF-8 sur plusieurs octets et ne respecte pas la contrainte « lettres et tirets » : un robot nommé par un emoji ne fonctionnera pas. Il en va de même pour les caractères non latins dans un nom de robot.
Pour les chemins, la situation diffère. Google convertit lui-même les chemins UTF-8 bruts en forme encodée : selon sa spécification, /foo/bar/ツ et /foo/bar/%E3%83%84 sont traités de la même façon. Cherry Prommawin recommande malgré tout la forme encodée, car d’autres robots, notamment anciens, peuvent ne pas gérer l’encodage, et Gary Illyes ajoute d’écrire la forme attendue par le serveur. Elle ajoute qu’un robot qui ne sait pas lire une règle peut écarter toute la ligne disallow. Cette dernière remarque est une hypothèse formulée dans la vidéo, pas une règle documentée.
Ce que j’en retiens
Rien de nouveau dans les règles, mais un bon rappel : un robots.txt qui « a l’air » correct peut ne produire aucun effet. Les deux erreurs que je m’attendrais à trouver sont les consignes en langage naturel et les noms de robots IA approximatifs. Je relirais le fichier ligne par ligne, avec le jeton exact publié par chaque éditeur de robot, puis je testerais quelques URL avec accents ou caractères non latins. Je le fais dans le cadre d’un contrôle complet du robots.txt et de l’indexation.
Ce fichier n’est pas un outil de sécurité : un contenu sensible se protège par authentification, pas par un disallow.