Manipuler Googlebot avec la directive HTTP X-Robots-Tag
»- Web Analytics | Black Hat SEO »
- Manipuler Googlebot avec la directive HTTP X-Robots-Tag
A quoi correspond la directive X-Robots-Tag ?
X-Robots-Tag est une directive (facultative) pouvant se trouver dans l'entête HTTP d'une page web au même titre que la directive Server ou encore la directive Content-Type par exemple. Elle a été mis en place par le moteur de recherche Google en 2007 puis adoptée par Yahoo et Bing. L'objectif de la mise en place de cette nouvelle directive est de proposer un moyen supplémentaire de contrôle du passage des robots d'indexation sur un site. Ainsi, cette directive est une alternative à la balise méta robots ou encore au fichier robots.txt qui répondent à ce même objectif.
Quelles sont les valeurs permettant de contrôler un robot d'indexation avec X-robots-tag ?
J'ai dénombré 8 groupes de valeurs possibles pour utiliser cette directive :
- INDEX | NOINDEX : indique au robot si il doit ou non indexer la page
- FOLLOW | NOFOLLOW : indique au crawler si il doit ou non suivre les liens contenus dans la page.
- ALL | NONE : ALL = INDEX, FOLLOW (défaut), NONE = NOINDEX, NOFOLLOW
- NOODP : indique aux moteurs de recherche de ne pas utiliser le titre et la description provenant de l'annuaire DMOZ dans les SERPs
- NOYDIR : indique à Yahoo search de ne pas utiliser le titre et la description provenant de l'annuaire Yahoo dans les SERPs
- NOARCHIVE : indique aux moteurs de recherche de ne pas mettre la page dans leur cache
- NOSNIPPET : indique au robot qu'il ne faut pas afficher de descriptif (snippet) dans la page de résultats
- UNAVAILABLE_AFTER: DATE (au format RFC 850) : indique au robot de désindexer la page après la date indiquée
Quel est le rapport entre X-Robots-Tag et échange de liens ?
Généralement, lorsque l'on procède à un échange de liens avec un partenaire, notre principale soucis est de vérifier au niveau du code source qu'il s'agisse bien d'un lien en dur, que ce lien ne soit pas en nofollow,... Cependant, un partenaire malin peut très bien utiliser la directive X-Robots-Tag: nofollow dans l'entête HTTP de la page concernée pour profiter au maximum de cet échange à votre grand désavantage...On pense rarement à regarder l'en-tête HTTP !
A noter que cette technique peut également se faire avec les valeurs nofollow, none, noindex et unavailable_after.
Comment détecter une utilisation de la directive X-Robots-Tag ?
Pour vérifier si ce partenaire ne vous a pas arnaqué, vous pouvez vérifier manuellement l'entête de la page de partenariat avec le plugin firefox Webdeveloper par exemple. Cependant, si vous gérez plusieurs sites web, cela peut être fastidieux ! Voici un script shell permettant d'automatiser tout cela (vous trouverez dans le script des notes importantes).
Par Olivier TASSEL - Dernière mise à jour : 11/02/2010
