- Wie erstelle und konfiguriere ich robots.txt für WordPress
- Wie überprüfe ich robots.txt auf Fehler
- Warum ist es wichtig, robots.txt korrekt zu konfigurieren
robots.txt ist eine Textdatei im UTF-8-Format, die Suchrobotern anzeigt, welche Seiten der Website gescannt werden sollen und welche nicht. Sie befindet sich im Stammverzeichnis der Ressource. Wie kann man robots.txt einer Website ansehen? Zum Beispiel kann sie auf der Cityhost-Website unter der Adresse https://cityhost.ua/robots.txt gefunden werden.
Lesen Sie auch: Wo befindet sich robots.txt in WordPress?
Eine korrekt konfigurierte robots.txt zeigt den Google-Web-Crawlern und anderen Suchmaschinen, dass sie Folgendes nicht scannen sollen:
- Seiten mit persönlichen Informationen registrierter Benutzer (zum Beispiel Kundenkonten in Online-Shops);
- Seiten mit Ergebnissen der internen Suche auf der Website;
- Seiten zum Einloggen in das Verwaltungsbereich der Website;
- Seiten, die zu doppeltem Inhalt führen.
Und wenn Sie gerade erst in die Grundlagen des Webmasters eintauchen, verstehen Sie wahrscheinlich bereits, dass theoretisches Wissen in diesem Bereich idealerweise sofort in der Praxis angewendet werden sollte. Bestellen Sie dazu preiswertes Hosting bei CityHost mit der neuesten PHP-Version, MySQL-Datenbanken und Zugriff über das SSH-Protokoll, erstellen Sie einen Blog oder einen Online-Shop auf Ihrem bevorzugten CMS und verfeinern Sie Ihre Fähigkeiten in der Website-Administration anhand eines realen Beispiels.
Lesen Sie auch: Wie installiere ich WordPress auf Hosting
Wie erstelle und konfiguriere ich robots.txt für WordPress
Um eine korrekte robots.txt zu erstellen, benötigen Sie:
- einen Texteditor (zum Beispiel Notepad++, Atom oder sogar den Standard Windows-Editor);
- einen FTP-Client (zum Beispiel FileZilla, WinSCP oder Cyberduck);
- 10–15 Minuten freie Zeit.
Hinweis. Wenn Sie nicht mit FTP-Clients arbeiten können und Ihre Website bei CityHost gehostet wird, können Sie die konfigurierte WordPress robots.txt über den Dateimanager im Hosting-Control-Panel hinzufügen.
Öffnen Sie zunächst den Texteditor, erstellen Sie eine neue Datei und speichern Sie sie unter dem Namen robots mit der Erweiterung .txt. Es ist wichtig, dass alle Buchstaben in Kleinbuchstaben geschrieben sind. Varianten wie Robots.txt, robots.TXT oder ROBOTS.txt sind ungültig.
HERZLICHEN GLÜCKWUNSCH! Sie haben ein Geschenk von Cityhost gefunden – 50% Rabatt auf die Verlängerung Ihres Hostings, Ihrer Domain oder VPS für 1 Jahr.
Um das Geschenk zu erhalten, machen Sie einen Screenshot dieses Bildes und senden Sie ihn als Kommentar zu diesem Beitrag: https://t.me/cityhostua/489
Wenn Ihr Kommentar mit diesem Bild der erste ist – haben Sie Glück, denn das Geschenk kann nur einer Person zuteilwerden. Zögern Sie also nicht!
Dieser Bonus ist im Rahmen der Aktion „Ich gehe suchen“ verfügbar und gilt vom 30. April bis zum 31. Mai 2026.
Fügen Sie dann den folgenden Code in die Datei ein und ersetzen Sie den Link in der letzten Zeile durch die URL der XML-Karte Ihrer Website:
User-agent: *
Disallow: /cgi-bin
Disallow: /?
Disallow: /wp-
Disallow: /wp/
Disallow: *?s=
Disallow: *&s=
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: */embed
Disallow: */wlwmanifest.xml
Disallow: /xmlrpc.php
Disallow: *utm*=
Disallow: *openstat=
Allow: */uploads
Sitemap: https://example.com/sitemap.xml
Wir empfehlen, die Syntax dieses Beispiels von robots.txt für WordPress im Detail zu verstehen:
- User-agent definiert, für welche Web-Crawler die nachfolgenden Regeln gelten. Der Wert * zeigt an, dass alle Suchmaschinen das, was in der robots.txt geschrieben steht, beachten sollen.
- Disallow weist die Web-Crawler an, welche Verzeichnisse oder Dateien während des Crawlings nicht gescannt werden sollen. Für WordPress-Websites wird empfohlen, die Seiten der Autorenarchive, Suchergebnisse, den Zugang zum Engine-Adminbereich sowie den RSS-Feed usw. vom Scannen auszuschließen. Dies schützt die Website vor doppeltem Inhalt und verhindert, dass Seiten, die dort nicht hingehören, in den Suchergebnissen erscheinen.
- Allow weist die Suchmaschinen an, welche Verzeichnisse oder Dateien während des Crawlings gescannt werden sollen. In unserem Beispiel ist das Verzeichnis uploads geöffnet, in dem die Bilder gespeichert sind, die diese Website enthält.
- Sitemap gibt die Sitemap an. Wenn es zwei oder mehr XML-Sitemaps gibt, geben Sie jede von ihnen in der robots.txt in einer separaten Zeile an, die mit Sitemap: beginnt.
Der letzte Schritt besteht darin, die robots.txt mit Hilfe eines FTP-Clients oder des Dateimanagers im Hosting-Control-Panel in das Stammverzeichnis der Website hochzuladen. Um zu überprüfen, ob der Upload erfolgreich war, gehen Sie zu http://example.com/robots.txt, wobei Sie example.com durch Ihre Website-Domain ersetzen. Wenn alles richtig gemacht wurde, sehen Sie eine Seite, auf der der oben angegebene Code angezeigt wird.
Übrigens, was passiert, wenn in robots.txt disallow all angewendet wird?
Wenn Sie allen Suchrobotern das Scannen der Website verbieten möchten, verwenden Sie den folgenden Inhalt für die robots.txt-Datei:
User-agent: *
Disallow: /
Diese Konfiguration kann sich negativ auf SEO auswirken, da Suchmaschinen die Seiten nicht indizieren können. Verwenden Sie sie mit Vorsicht, zum Beispiel für Websites in der Entwicklungsphase.
Lesen Sie auch: Was ist WHOIS, wofür wird es verwendet und wie überprüfe ich eine Domain
Wie überprüfe ich robots.txt auf Fehler
Sie haben gelernt, wie man robots.txt für WordPress konfiguriert, und der nächste Schritt ist die Überprüfung auf Richtigkeit. Führen Sie dazu die folgenden Schritte aus:
- Öffnen Sie das „robots.txt-Dateiüberprüfungstool“, das Sie in der alten Version der Google Search Console finden (Menüpunkt „Crawling“).
- Kopieren Sie den Inhalt der robots.txt-Datei und fügen Sie ihn in das Bearbeitungsfenster ein.
- Stellen Sie sicher, dass die Anzahl der Fehler und Warnungen in der unteren linken Ecke des Bearbeitungsfensters null beträgt. Wenn Syntaxprobleme vorliegen, wird in dieser Zeile die Anzahl der Fehler oder Empfehlungen angezeigt, und links von der Zeile mit den fehlerhaften Informationen wird ein rotes oder orangefarbenes Symbol angezeigt. Wenn Sie den Mauszeiger darüber bewegen, sehen Sie die Fehlerbeschreibung.
Wenn Sie unter dem Bearbeitungsfenster des „robots.txt-Dateiüberprüfungstools“ die Zeile „Fehler: 0, Warnungen: 0“ sehen, informieren Sie die Suchmaschine über die Änderungen in der robots.txt. Klicken Sie dazu auf die Schaltfläche „Senden“ in der unteren rechten Ecke des Editors. Bestätigen Sie die Übermittlung der Anfrage zur Aktualisierung der Datei, indem Sie auf die Schaltfläche „Senden“ neben der Option Nr. 3 im angezeigten Fenster klicken.
Lesen Sie auch: Was sind Schlüsselphrasen und wie wählt man sie aus.
Warum ist es wichtig, robots.txt korrekt zu konfigurieren
Im Januar 2017 veröffentlichte der Analyst der Qualitätsabteilung der „Wohltätigkeitsorganisation“ Gary Illyes einen Artikel im offiziellen Google-Blog für Webmaster mit dem Titel „Was bedeutet das Crawling-Budget für Googlebot“. Darin stellte er fest, dass, wenn der Web-Crawler beim Durchsuchen der Website auf qualitativ minderwertige Seiten oder solche stößt, die den Inhalt einer anderen Seite duplizieren, die Geschwindigkeit und Häufigkeit des Crawlings abnimmt. Die negative Folge davon ist, dass neuer Inhalt, der auf Ihrer Website hinzugefügt wird, nicht schnell in den Suchergebnissen erscheint.
Eine korrekt konfigurierte robots.txt für WordPress verhindert, dass Suchroboter Duplikate und Seiten scannen, die für die Besucher keinen Wert haben. Und in Anbetracht dessen ist es ein nicht weniger wichtiger Bestandteil der technischen Optimierung der Website als zum Beispiel eine korrekt erstellte und automatisch aktualisierte Sitemap oder aktivierte Gzip-Kompression.
Ein weiteres Merkmal der Website, das sich positiv auf die Suchmaschinenoptimierung und die Zufriedenheit der Besucher auswirkt – die hohe Ladegeschwindigkeit der Webseiten. Dies kann durch das Mieten eines dedizierten Servers oder eine kostengünstigere Option – einen virtuellen Server – erreicht werden. Die Ressourcen werden ausreichen, um einen Online-Shop, ein Online-Portal oder einen Blog schnell, zuverlässig und sicher zu machen.
War dieser Artikel informativ? Dann teilen Sie ihn in sozialen Netzwerken und treten Sie unserem Telegram-Kanal bei. Denken Sie daran, dass das Hosting-Unternehmen CityHost preiswerte Hosting-Dienste für Websites jeder Komplexität anbietet. Bei technischen Fragen wenden Sie sich über den Online-Chat oder telefonisch ☎️ 0 800 219 220 an uns.
