robots.txt - Ordonner des comportements aux robots

Termes, expressions, concepts...

Modérateur: Modérateurs et Modératrices

robots.txt - Ordonner des comportements aux robots

Messagede pierre » 17 06 2017

robots.txt est un fichier, au simple format texte, que dépose un webmaster à la racine de son site Web pour ordonner certains comportements, donner des instructions aux robots qui visitent son site.

robots.txt est un fichier, mais est aussi un protocole de communication avec les robots (spiders, crawlers, etc.). Il est donc constitué d'un langage (des verbes) et une syntaxe permet de passer des arguments.

robots.txt
Avatar de l’utilisateur
pierre
 
Messages: 22059
Inscription: 20 05 2002
Localisation: Ici et maintenant

Retourner vers Encyclopédie

Qui est en ligne

Utilisateurs parcourant ce forum: Aucun utilisateur enregistré et 1 invité