■  ACCUEIL  ■  Contact  ■

  Un fichier pour robots

Les engins de recherchent utilisent ce qui est appelé des « robots » afin de parcourir (crawler) le web. Afin d'indiquer à ces robots ce qu'ils ont ou non le droit de parcourir sur votre site internet, le fichier robots.txt peut être déposé sur votre serveur à cet effet.

Puisque le but de votre site web est de faire de l'argent sur internet, vous voulez que les robots accèdent vos pages afin que les visiteurs trouvent votre site. Toutefois, s'il y a un répertoire ou fichier que vous ne voulez pas que les robots y accèdent, vous pouvez le préciser. Prenons un exemple: Si vous voulez que les robots accèdent à la votre site sauf le répertoire "ANePasIndexer", vous pourriez créer un fichier « robots.txt » suivant:

User-agent: *
Disallow: /ANePasIndexer/        OU

User-agent: *
Disallow:

Comme la plupart des gens, de laisser les robots accéder à l'ensemble des pages du site. Pour connaître le standard et tous les détails du fichier robots: RobotsTXT.org.

Prochaine étape? L'inscription aux outils d'aides aux webmestres. Les liens vers ces outils sont disponibles dans la page des outils pour webmestres.
 

© CommentFaireDeLArgentSurInternet.com