Zur Verwaltung der Indizierung einer Website durch Suchmaschinen können die Datei robots.txt und sitemap verwendet werden. Damit können Sie der Suchmaschine Informationen über die Seiten Ihrer Website übermitteln, bestimmte Seiten indizieren oder umgekehrt verbieten.
Neben diesen Optionen kann auch ein spezieller Tag verwendet werden, der je nach Spezifikation auf verschiedenen Arten von Websites angewendet werden kann. In diesem Artikel werden wir über den Meta-Tag robots sprechen, der zusammen mit der Datei robots.txt verwendet werden kann und es ermöglicht, die Indizierung sowohl nach Vorlage als auch individuell für jede Seite zu steuern.
Was ist der Meta-Tag robots
Trotz aller Vorteile hat die Datei robots.txt einen Nachteil: Sie kann eine bereits indizierte Seite nicht vollständig aus den Ergebnissen entfernen. Daher kann die Seite, selbst wenn sie darin angegeben ist, gefunden werden, wobei jedoch die Dienstinformationen über sie (z. B. Beschreibung) fehlen. Stattdessen sehen die Benutzer den Kommentar „Die Seitenbeschreibung ist aufgrund von Einschränkungen in der Datei robots.txt nicht verfügbar“. Tatsächlich ist die Datei nützlich, um eine Seite von Anfang an vollständig zu verbergen, aber sie kann nicht feiner eingestellt werden.
Gleichzeitig ermöglicht der Meta-Tag robots eine flexiblere Indizierung, indem die gewünschten Werte im Feld content angegeben werden:
Dabei wird im Meta-Tag zunächst die Möglichkeit der Indizierung einer bestimmten Seite definiert und erst danach werden die Regeln für die Suchroboter bezüglich der Inhalte und Informationen auf ihr aufgelistet.
Damit sie korrekt von Suchrobotern gelesen wird, können im Attribut content ("xxxxxx") folgende Direktiven angegeben werden:
- index/noindex – Indizierung erlaubt/verboten;
- follow/nofollow – Indizierung von Links auf der Seite erlaubt/verboten;
- all/none – vollständige Indizierung der gesamten Seite erlaubt/verboten;
- noimageindex – das Indizieren von Bildern auf der Seite ist verboten;
- noarchive – es ist verboten, in den Suchergebnissen Links „Kopie speichern“ anzuzeigen, die es ermöglichen, die Seite im Google- oder Yandex-Cache anzusehen;
- nosnippet – das Anzeigen eines Snippets, das den Inhalt der Seite beschreibt, in den Suchergebnissen ist verboten;
- noodp – Befehl, der dem Google-Bot mitteilt, dass er keine Informationen aus dem DMOZ-Verzeichnis für das Snippet verwenden darf.
Wie man den Meta-Tag robots verwendet
Der Wert follow/nofollow ermöglicht das Folgen/nicht Folgen von Links. Index/noindex bestimmt die Möglichkeit, den Inhalt der Seite zu überprüfen. Der allgemeine Tag rel=nofollow kann dem Suchroboter sogar die Möglichkeit verweigern, alle auf der Seite vorhandenen Links zu crawlen. All diese Werte werden in verschiedenen Kombinationen verwendet, um den Prozess der Suchmaschinenoptimierung zu verbessern.
Je nachdem, was benötigt wird (ob der Roboter indizieren soll, aber nicht folgen oder Links folgen soll, ohne den Inhalt zu crawlen), können nacheinander verschiedene Werte festgelegt werden. Insbesondere kann die Erlaubnis zur Indizierung mit dem Verbot des Folgens bei Vertretungen großer Marken erforderlich sein. Jeder Shop hat seinen eigenen Ruf, der nicht immer ideal ist und den geförderten Prinzipien des Hauptgeschäfts entspricht. In solchen Fällen wird ein spezieller Meta-Tag gesetzt, in dem nacheinander die Werte „index, nofollow“ angegeben werden. So wird die Registerkarte mit den Vertretungen dem Suchroboter zum Crawlen zur Verfügung stehen, jedoch kann er den spezifischen Links nicht folgen.
Der Meta-Tag ist auch nützlich, da er es ermöglicht, eine komplexe Indizierung sorgfältig einzustellen. Dies äußert sich darin, dass einige Links von den Suchrobotern ausgeschlossen und Handlungsanweisungen für andere festgelegt werden. Neben den oben genannten Beispielen von Tags gibt es auch andere Werte, die dem Roboter in irgendeiner Weise ermöglichen, mit dem Inhalt der Seite zu interagieren.
Was ist der Unterschied zwischen dem Meta-Tag robots und der Datei robots.txt
Im Gegensatz zur Datei robots.txt ist der Meta-Tag robots relevanter für die Programmierung der Aktionen von Suchmaschinen in Bezug auf Links. Während der erste einfacher wirkt und praktisch die gesamte Seite betrifft, bietet der zweite die Möglichkeit, Teile davon separat zu schließen und eine bestimmte Logik für die Aktionen festzulegen. Dabei kann man separat an jedem Objekt arbeiten oder Vorlagen für Seitenpakete einstellen.
Wenn eine Seite jedoch sowohl über den Meta-Tag als auch über die Datei geschlossen ist, wird die Suchmaschine die Regeln der letztgenannten als maßgeblich betrachten. Aus diesem Grund ist es wichtig, sicherzustellen, dass die Seite im Datei auch zur Indizierung verfügbar ist, wenn der Meta-Tag die Indizierung zulässt. Dann wird der Roboter das festgelegte Szenario korrekt ausführen.
War der Beitrag informativ? Dann teilen Sie ihn in sozialen Netzwerken und treten Sie unserem Telegram-Kanal bei. Denken Sie daran, dass Sie günstiges Hosting bei der Hosting-Firma CityHost bestellen können. Bei technischen Fragen wenden Sie sich an den Online-Chat oder telefonisch an ☎️ 0 800 219 220.
Hat Ihnen der Artikel gefallen? Erzählen Sie Ihren Freunden davon: 
