Qu'est-ce que le fichier Robots.txt ?

Définition complète

Le fichier robots.txt est un fichier texte placé à la racine de votre site web (example.com/robots.txt) qui donne des directives aux robots d'exploration des moteurs de recherche. Il utilise le protocole d'exclusion des robots pour indiquer quels répertoires ou fichiers ne doivent pas être explorés. Ce n'est pas un mécanisme de sécurité — les moteurs respectueux obéissent, mais les robots malveillants peuvent l'ignorer.

Pourquoi c'est important pour le SEO

Un robots.txt mal configuré peut empêcher Google d'indexer des pages importantes, ou au contraire laisser indexer des pages sensibles (admin, API). C'est l'un des premiers fichiers que Googlebot consulte.

Exemple

User-agent: *
Disallow: /admin/
Disallow: /api/
Allow: /
Sitemap: https://example.com/sitemap.xml

Termes reliés