Questo articolo illustra due metodi per impedire che il tuo Locator e le tue Pages vengano indicizzate dai motori di ricerca.

Perché impedire l'indicizzazione?

Può essere vantaggioso non far indicizzare il tuo Locator e le tue Pages sui motori di ricerca se sono presenti contenuti duplicati tra più istanze del Locator. Questa soluzione è per casi d'uso in cui sono presenti più pagine con lo stesso Locator e le stesse Locations. Queste pagine verranno identificate come duplicate dai motori di ricerca e causeranno problemi di indicizzazione. È del tutto possibile che i link indicizzati vengano suddivisi tra tutte le istanze esistenti dello stesso Locator. Per risolvere questa situazione, i motori di ricerca dovrebbero valutare solo gli URL di un Locator e ignorare il resto. Questo ti darà le migliori possibilità di far indicizzare correttamente le tue Locations.

Blocco tramite robots.txt

Questo metodo utilizza il file robots.txt. È possibile aggiungere regole per disabilitare la scansione da parte dei motori di ricerca. Puoi aggiungere regole simili al tuo file robots.txt per impedire la scansione della pagina principale del Locator nonché di qualsiasi pagina nella cartella del Locator.

user-agent: otherbot
disallow: /locator_folder
disallow: /locator_folder/*

Blocco tramite noindex

Questo metodo utilizza un meta tag situato nell'elemento <head> della tua pagina Locator per impedire ai crawler di identificare la tua pagina. Aggiungi quanto segue alla pagina in cui si trova il Locator:

<meta name="robots" content="noindex">

Se il tuo Locator è raggiungibile all'indirizzo https://mydomain.com/locator, aggiungi il tag su quella pagina. Poiché il tag noindex è stato aggiunto alla pagina principale del Locator, verrà applicato anche a tutte le sottopagine.