robots.txt - Ordonner des comportements aux robots

Termes, expressions, concepts...

Modérateur: Modérateurs et Modératrices

robots.txt - Ordonner des comportements aux robots

Messagede pierre » 17 Juin 2017, 18:20

robots.txt est un fichier, au simple format texte, que dépose un webmaster à la racine de son site Web pour ordonner certains comportements, donner des instructions aux robots qui visitent son site.

robots.txt est un fichier, mais est aussi un protocole de communication avec les robots (spiders, crawlers, etc.). Il est donc constitué d'un langage (des verbes) et une syntaxe permet de passer des arguments.

robots.txt
Image
__________________
Pierre (aka Terdef)
Appel à donation - Le site a besoin de votre aide

Comment je me fais avoir/infecter ? - Protéger navigateur, navigation et vie privée - Bloquer publicité et surveillance sur le Web
Accélérer Windows - Accélérer Internet - Décontamination - Installer Malwarebytes - Forums d'entraide

Il ne sera répondu à aucune demande de dépannage posée en MP (Messagerie Privée). Les demandes doivent être publiques et les réponses doivent profiter au public.
Image
Avatar de l’utilisateur
pierre
 
Messages: 24927
Inscription: 20 Mai 2002, 23:01
Localisation: Ici et maintenant

Retourner vers Encyclopédie

Qui est en ligne

Utilisateurs parcourant ce forum: Aucun utilisateur enregistré et 2 invités