Le rôle du fichier robots.txt

Le fichier robots.txt est un simple fichier texte placé à la racine de votre site. Il donne des consignes aux robots des moteurs de recherche : quelles parties du site ils peuvent explorer, et lesquelles ils devraient laisser de côté.

On l'utilise par exemple pour éviter que les moteurs perdent du temps sur des pages sans intérêt comme certaines pages techniques ou d'administration.

Ce qu'il ne fait pas

Attention à un malentendu fréquent : le robots.txt n'est pas un outil de sécurité. Il demande poliment aux robots de ne pas explorer une page, mais il ne la protège pas et ne la cache pas au public.

  • Il ne remplace pas un mot de passe
  • Une page bloquée peut malgré tout apparaître dans les résultats
  • Les robots malveillants peuvent l'ignorer

Les erreurs à éviter

L'erreur la plus grave est de bloquer par accident tout le site, ce qui arrive souvent lors d'une mise en ligne mal configurée. Résultat : Google n'explore plus rien et le trafic chute. Il faut aussi éviter de bloquer des ressources nécessaires à l'affichage correct des pages.

En cas de doute, mieux vaut ne rien bloquer que bloquer à tort. Skywebis vérifie systématiquement ce fichier lors de la mise en ligne pour éviter ces mauvaises surprises.

Envie de passer à l'action avec Skywebis ?

Skywebis crée des sites web sur mesure, rapides, optimisés pour le référencement et sans abonnement obligatoire. Vous restez propriétaire de votre site.

Découvrir nos solutions

Questions fréquentes

À la racine du site, accessible à l'adresse votresite.fr/robots.txt.

Non, un site fonctionne sans. Il devient utile pour affiner ce que les moteurs explorent.