Bloquer l'Indexation de pages : Fichier robots.txt – Guide SEO

Pour empêcher l’affichage de contenu dans les résultats de recherche, il faut utiliser d’autres méthodes notamment avec l’attribut rel= »noIndex ».

– Utilisez un fichier robots.text pour empêcher l’exploration de certaines pages de votre site
– Utilisez un fichier .htaccess pour protéger par mot de passe vos répertoires
– Utilisez l’outil Google pour les webmasters pour supprimer du contenu ayant déjà fait l’objet d’une exploration

Notes : Google recommande de contrôler l’information que les robots doivent explorer ou pas !

1. Évitez d’autoriser l’exploration de pages ressemblant à une page des résultats de recherche
2. Évitez d ’autoriser l’exploration d’un grand nombre de pages générées automatiquement
3. Évitez d ’autoriser l’exploration de pages contenant le même contenu ou du contenu très similaire.

l’attribut rel= »Nofollow »

Cette valeur sert à combattre le spam. En l’utilisant, vous indiquez à Google de ne pas suivre le lien ou de ne pas transmettre la popularité de votre page aux autres pages vers lesquelles des liens renvoient.

– Utilisez-là sur les commentaires publics de votre site
–  Utilisez-là pour interdire de suivre les liens ajoutés par les utilisateurs.
– Utilisez-là pour éviter de transmettre votre réputation aux sites.
– Utilisez-là pour ne pas garantir un contenu
– Utilisez-là pour les liens payants
–  Utilisez-là sur les liens du type « inscrivez-vous ici » ou « se connecter »

Il est précisé par Google que la balise meta <meta name= »robots » content= »nofollow » />
indique de ne pas suivre les liens sortants. Il est dit également que «  Google ne transfère pas le classement PageRank ni le texte d’ancrage à travers ces liens. »

Notes : Google conseille de ne pas se focaliser sur les priorités d’exploration via les liens non suivis. Ce que l’on appelle le pagerank sculpting.