Cet article passera en revue deux méthodes pour empêcher l'indexation de votre Localisateur par les moteurs de recherche.
Pourquoi empêcher l'indexation ?
Il peut être avantageux de ne pas indexer votre Localisateur sur les moteurs de recherche s'il y a du contenu en doublon dans plusieurs instances du Localisateur. Cette solution est destinée aux cas d'utilisation où il existe plusieurs pages avec le même Localisateur, avec les mêmes établissements. Ces pages seront identifiées comme des doublons par les moteurs de recherche et causeront des problèmes d'indexation. Il est tout à fait possible que les liens indexés soient divisés à travers les instances existantes du même Localisateur. Pour remédier à cette situation, les moteurs de recherche doivent uniquement évaluer les URL d'un seul localisateur et ignorer les autres. Cela vous donnera les meilleures chances d'avoir vos établissements correctement indexés.
Blocage à l'aide de robots.txt
Cette méthode utilise le fichier robots.txt. Il est possible d'ajouter des règles pour interdire le "crawling" par les moteurs de recherche. Vous pouvez appliquer des règles similaires à votre fichier robots.txt pour empêcher le "crawling" de la page principale du Localisateur ainsi que de toute page du dossier du Localisateur.
user-agent: otherbot disallow: /locator_folder disallow: /locator_folder/*
Blocage à l'aide de noindex
Cette méthode utilisera une balise meta située dans la balise <head> de votre page Localisateur pour empêcher les robots de "crawling" d'identifier votre page. Ajoutez la balise suivante à la page où se trouve le Localisateur :
<meta name="robots" content="noindex">
Si votre Localisateur est accessible à l'adresse https://mydomain.com/locator, ajoutez la balise sur cette page. Étant donné que la balise a été ajoutée à la page principale du Localisateur, elle s'appliquera également à toutes les sous-pages.