Robots.txt

Un fichier robots.txt fournit aux moteurs de recherche les informations nécessaires pour explorer et indexer correctement un site web. Les moteurs de recherche tels que Google, Bing, Yahoo, etc. disposent tous de robots qui explorent les sites web de façon périodique afin de collecter des informations existantes et/ou nouvelles telles que des pages web, des articles de blog, des images, etc. Une fois que ces ressources sont publiées sur le site web, il appartient aux moteurs de recherche de déterminer ce qui sera indexé.

Un fichier robots.txt peut vous aider à mieux définir ce que vous voulez que les robots de recherche explorent et donc indexent. Cela est utile pour diverses raisons, notamment pour contrôler le trafic d’exploration afin de s’assurer que le robot d’exploration ne submerge pas votre serveur. Le fichier robots.txt ne doit cependant pas être utilisé pour masquer des pages web dans les résultats de recherche Google .