Dieser Artikel zeigt zwei Methoden, um zu verhindern, dass dein Locator und deine Pages von Suchmaschinen indexiert werden.

Warum Indexierung verhindern?

Es kann sinnvoll sein, deinen Locator und deine Pages nicht von Suchmaschinen indexieren zu lassen, wenn es doppelte Inhalte über mehrere Locator-Instanzen hinweg gibt. Diese Lösung ist für Fälle gedacht, in denen mehrere Pages mit demselben Locator und denselben Locations vorhanden sind. Diese Pages werden von Suchmaschinen als Duplikate erkannt und verursachen Indexierungsprobleme. Es ist durchaus möglich, dass die indexierten Links auf alle bestehenden Instanzen desselben Locators aufgeteilt werden. Um dieses Problem zu beheben, sollten Suchmaschinen nur URLs von einem Locator bewerten und den Rest ignorieren. Das gibt dir die besten Chancen, deine Locations ordnungsgemäß indexieren zu lassen.

Blockierung mit robots.txt

Diese Methode nutzt die robots.txt-Datei. Es ist möglich, Regeln hinzuzufügen, um das Crawlen durch Suchmaschinen zu verhindern. Du kannst ähnliche Regeln zu deiner robots.txt-Datei hinzufügen, um das Crawlen der Haupt-Locator-Page sowie aller Pages im Locator-Ordner zu verhindern.

user-agent: otherbot
disallow: /locator_folder
disallow: /locator_folder/*

Blockierung mit noindex

Diese Methode nutzt einen Meta-Tag im <head> deiner Locator-Page, um Crawler daran zu hindern, deine Page zu identifizieren. Füge Folgendes auf der Page hinzu, auf der der Locator angeordnet ist:

<meta name="robots" content="noindex">

Wenn dein Locator unter https://mydomain.com/locator erreichbar ist, füge den Tag auf dieser Page ein. Da der noindex-Tag zur Haupt-Page des Locators hinzugefügt wurde, gilt er auch für alle Subpages.