Le fichier Robots.txt c’est quoi ?
Le fichier robots.txt est un fichier texte utilisé pour le référencement des sites Internet, contenant des indicationsdestinés aux robots d’indexation des moteurs de recherche afin de leur préciser les pages qui peuvent ou ne peuvent pas être indexées. Ainsi tout moteur de recherche commence l’exploration d’un site web en cherchant le fichier robots.txt à la racine du site. Utiliser un fichier Robots.txt est donc très important.Il fait partie des normes du Web.
Exemples de contenu du fichier robots.txt :
Autoriser tous les robots à crawler le site :
Interdire l’accès au site à tous les robots :
Interdire l’accès au site à tous les robots sauf Google Bot :
Interdire l’accès au site à tous les robots sauf Google Bot :
Interdire l’accès à un répertoire et son contenu à tous les robots :
Interdire l’accès à tous les robots aux répertoires et leurs contenus ainsi qu’aux fichiers commençant par “exemple” :
Vérifier la présence du fichier robots.txt sur vos sites avec GHS tools
Pour vérifier automatiquement la présence du fichier robots.txt sur vos sites vous devez ajouter vos sites dans GHS Tools.
A partir du moment où vos sites sont présent dans la “Gestion des sites”, un robot de GHS Tools vérifie automatiquement sa présence et vous en informe par email.
Vous pouvez également forcer la vérification en vous rendant sur la page gestion des sites et en cliquant sur le bouton “Présence Robots.txt”.
En cliquant sur le bouton une fenêtre s’ouvre et vous indique la présence ou non du fichier avec une solution en cas de non présence.
Cette fonction est gratuite et illimité pour les utilisateurs de GHS Tools.
Tutoriel complémentaire, en français, sur robots.txt
https://www.visionduweb.eu/wiki/index.php?title=Accueil_SEO#Le_fichier_robots.txt
Ressource complémentaire pour le contenu d’un fichier robots.txt :
https://www.visionduweb.eu/wiki/index.php?title=Accueil_SEO#Indexation_avec_les_robots