Utilisation de fichier robots.txt et autres méthodes de blocage des url
Ces conseils font parties du guide SEO pour apprendre a référencer un site Web, Le fichier robots est utilisé pour demander aux moteurs de recherche de ne pas explorer certains pages. Toutefois ce fichier n’empêche pas l’indexation dans Google.
Pour empêcher l’affichage de contenu dans les résultats de recherche, il faut utiliser d’autres méthodes notamment avec l’attribut rel= »noIndex ».
– Utilisez un fichier robots.text pour empêcher l’exploration de certaines pages de votre site
– Utilisez un fichier .htaccess pour protéger par mot de passe vos répertoires
– Utilisez l’outil Google pour les webmasters pour supprimer du contenu ayant déjà fait l’objet d’une exploration
Notes : Google recommande de contrôler l’information que les robots doivent explorer ou pas !
1. Évitez d’autoriser l’exploration de pages ressemblant à une page des résultats de recherche
2. Évitez d ’autoriser l’exploration d’un grand nombre de pages générées automatiquement
3. Évitez d ’autoriser l’exploration de pages contenant le même contenu ou du contenu très similaire.
l’attribut rel= »Nofollow »
Cette valeur sert à combattre le spam. En l’utilisant, vous indiquez à Google de ne pas suivre le lien ou de ne pas transmettre la popularité de votre page aux autres pages vers lesquelles des liens renvoient.
– Utilisez-là sur les commentaires publics de votre site
– Utilisez-là pour interdire de suivre les liens ajoutés par les utilisateurs.
– Utilisez-là pour éviter de transmettre votre réputation aux sites.
– Utilisez-là pour ne pas garantir un contenu
– Utilisez-là pour les liens payants
– Utilisez-là sur les liens du type « inscrivez-vous ici » ou « se connecter »
Il est précisé par Google que la balise meta <meta name= »robots » content= »nofollow » />
indique de ne pas suivre les liens sortants. Il est dit également que « Google ne transfère pas le classement PageRank ni le texte d’ancrage à travers ces liens. »
Notes : Google conseille de ne pas se focaliser sur les priorités d’exploration via les liens non suivis. Ce que l’on appelle le pagerank sculpting.
