- Wie erstelle und konfiguriere ich robots.txt für WordPress
- Wie überprüfe ich robots.txt auf Fehler
- Warum ist es wichtig, robots.txt korrekt zu konfigurieren
robots.txt ist eine Textdatei im UTF-8-Format, die Suchrobotern mitteilt, welche Seiten der Website gescannt werden sollen und welche nicht. Sie befindet sich im Stammverzeichnis der Ressource. Wie kann man die robots.txt der Website ansehen? Zum Beispiel ist sie auf der Cityhost-Website unter der Adresse https://cityhost.ua/robots.txt zu finden.
Lesen Sie auch: Wo befindet sich robots.txt in WordPress?
Eine korrekt erstellte robots.txt weist die Web-Crawler von Google und anderen Suchsystemen darauf hin, dass sie Folgendes nicht scannen sollen:
- Seiten mit persönlichen Informationen registrierter Benutzer (z.B. Käuferkonten in Online-Shops);
- Seiten mit Ergebnissen der internen Suche auf der Website;
- Seiten zum Einloggen in das Administrationspanel;
- Seiten, die zur Duplizierung von Inhalten führen.
Und wenn Sie gerade erst die Grundlagen des Webmasterings erlernen, verstehen Sie sicherlich bereits, dass theoretisches Wissen in diesem Bereich idealerweise sofort praktisch angewendet werden sollte. Dazu bestellen Sie preiswerte CityHost-Hosting mit der neuesten PHP-Version, MySQL-Datenbanken und SSH-Zugang, erstellen Sie einen Blog oder einen Online-Shop mit Ihrem bevorzugten CMS und verbessern Sie Ihre Fähigkeiten im Website-Management am realen Beispiel.
Lesen Sie auch: Wie man WordPress auf Hosting installiert
Wie erstelle und konfiguriere ich robots.txt für WordPress
Um eine korrekte robots.txt zu erstellen, benötigen Sie:
- einen Texteditor (z.B. Notepad++, Atom oder sogar den Standard-Windows-Editor);
- einen FTP-Client (z.B. FileZilla, WinSCP oder Cyberduck);
- 10–15 Minuten freie Zeit.
Hinweis. Wenn Sie nicht mit FTP-Clients umgehen können und Ihre Website auf CityHost gehostet ist, können Sie die konfigurierte WordPress robots txt über den Dateimanager im Hosting-Kontrollpanel hinzufügen.
Zuerst öffnen Sie den Texteditor, erstellen eine neue Datei und speichern diese unter dem Namen robots mit der Endung .txt. Es ist wichtig, dass alle Buchstaben in kleingeschrieben sind. Varianten Robots.txt, robots.TXT oder ROBOTS.txt sind ungültig.
Lesen Sie auch: Was sind Schlüsselwörter und wie wählt man sie aus.
Fügen Sie dann den folgenden Code in die Datei ein und ersetzen Sie den Link in der letzten Zeile durch die URL der XML-Karte Ihrer Website:
User-agent: *
Disallow: /cgi-bin
Disallow: /?
Disallow: /wp-
Disallow: /wp/
Disallow: *?s=
Disallow: *&s=
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: */embed
Disallow: */wlwmanifest.xml
Disallow: /xmlrpc.php
Disallow: *utm*=
Disallow: *openstat=
Allow: */uploads
Sitemap: https://example.com/sitemap.xml
Wir empfehlen, sich detailliert mit der Syntax dieses Beispiels von robots.txt für WordPress auseinanderzusetzen:
- User-agent – definiert, für welche Web-Crawler die nachfolgenden Regeln geschrieben sind. Der Wert * zeigt an, dass alles, was in robots.txt geschrieben ist, von allen existierenden Suchrobotern berücksichtigt werden sollte.
- Disallow – weist die Web-Crawler darauf hin, welche Verzeichnisse oder Dateien beim Crawlen nicht gescannt werden sollen. Für WordPress-Websites wird empfohlen, die Seiten der Autorenarchive, der Suchergebnisse, des Logins in die Engine-Konsole sowie des RSS-Feeds usw. vom Scannen auszuschließen. Dies schützt die Website vor doppelten Inhalten und verhindert, dass Seiten, die dort nicht hingehören, in die Suchergebnisse gelangen.
- Allow – weist den Suchrobotern darauf hin, welche Verzeichnisse oder Dateien beim Crawlen gescannt werden sollen. In unserem Beispiel ist das Verzeichnis uploads geöffnet, in dem die auf der Website veröffentlichten Bilder gespeichert sind.
- Sitemap – verweist auf die Sitemap. Wenn es zwei oder mehr XML-Sitemaps gibt, schreiben Sie jede von ihnen in robots.txt in einer separaten Zeile, die mit Sitemap: beginnt.
Der letzte Schritt ist das Hochladen der robots.txt in das Stammverzeichnis der Website mit Hilfe eines FTP-Clients oder des Dateimanagers im Hosting-Kontrollpanel. Um zu überprüfen, ob der Upload erfolgreich war, gehen Sie zu http://example.com/robots.txt und ersetzen example.com durch Ihre Website-Domain. Wenn alles richtig gemacht wurde, sehen Sie eine Seite, auf der der oben dargestellte Code angezeigt wird.
Übrigens, was passiert, wenn man in robots.txt disallow all anwendet?
Wenn Sie allen Suchrobotern verbieten möchten, die Website zu scannen, verwenden Sie den Inhalt der robots.txt-Datei:
User-agent: *
Disallow: /
Eine solche Konfiguration kann sich negativ auf SEO auswirken, da Suchmaschinen die Seiten nicht indizieren können. Verwenden Sie sie mit Vorsicht, z.B. für Websites in der Entwicklungsphase.
Lesen Sie auch: Was ist WHOIS, wofür wird es verwendet und wie überprüft man eine Domain
Wie überprüfe ich robots.txt auf Fehler
Sie haben gelernt, wie man robots.txt für WordPress konfiguriert, und der nächste Schritt ist die Überprüfung auf Richtigkeit. Dazu führen Sie die folgenden Schritte aus:
- Öffnen Sie „Tool zur Überprüfung der robots.txt-Datei“, das sich in der alten Version der Google Search Console befindet (Menüpunkt „Crawling“).
-
Kopieren Sie den Inhalt der robots.txt-Datei und fügen Sie ihn in das Bearbeitungsfenster ein.
-
Stellen Sie sicher, dass in der unteren linken Ecke des Bearbeitungsfensters die Anzahl der Fehler und Warnungen null ist. Wenn es Probleme mit der Syntax der Datei gibt, wird in dieser Zeile die Anzahl der Fehler oder Empfehlungen angegeben, und links von der Zeile des Editors mit fehlerhaften Informationen wird ein rotes oder orangefarbenes Symbol angezeigt. Wenn Sie mit der Maus darüber fahren, sehen Sie die Fehlerbeschreibung.
Wenn Sie unter dem Bearbeitungsfenster des „Tools zur Überprüfung der robots.txt-Datei“ die Zeile „Fehler: 0, Warnungen: 0“ sehen, teilen Sie der Suchmaschine die Änderungen in robots.txt mit. Klicken Sie dazu auf die Schaltfläche „Senden“ in der unteren rechten Ecke des Editors. Bestätigen Sie das Senden der Anfrage zur Aktualisierung der Datei, indem Sie auf die Schaltfläche „Senden“ neben der Option Nr. 3 im angezeigten Fenster klicken.
Warum ist es wichtig, robots.txt korrekt zu konfigurieren
Im Januar 2017 veröffentlichte der Analyst der Qualitätsabteilung des „Wohltätigkeitsunternehmens“ Gary Illyes in dem offiziellen Google-Blog für Webmaster einen Artikel „Was bedeutet das Crawling-Budget für Googlebot“. Darin stellte er fest, dass, wenn der Web-Crawler beim Durchsuchen der Website auf minderwertige oder doppelte Seiten stößt, die Geschwindigkeit und Häufigkeit des Crawlings verringert werden. Eine negative Folge davon ist, dass nach dem Hinzufügen neuer Inhalte zu Ihrer Website diese nicht schnell in den Suchergebnissen erscheinen wird.
Eine korrekt konfigurierte robots.txt für WordPress verhindert, dass Suchroboter Duplikate und Seiten scannen, die für die Besucher keinen Wert haben. Und in Anbetracht dessen ist es ein ebenso wichtiges Element der technischen Optimierung der Website wie beispielsweise eine korrekt erstellte und automatisch aktualisierte Sitemap oder aktivierte gzip-Kompression.
Eine weitere Eigenschaft der Website, die sich positiv auf die Suchmaschinenoptimierung und die Zufriedenheit der Besucher auswirkt, ist die hohe Ladegeschwindigkeit der Webseiten. Dies kann durch die Miete eines dedizierten Servers oder eine günstigere Option — einen virtuellen Server erreicht werden. Hier stehen genügend Ressourcen zur Verfügung, um einen Online-Shop, ein Online-Portal oder einen Blog schnell, zuverlässig und sicher zu machen.
War der Artikel informativ? Dann teilen Sie ihn in den sozialen Netzwerken und treten Sie unserem Telegram-Kanal bei. Denken Sie daran, dass das Hosting-Unternehmen CityHost Dienstleistungen für preiswertes Hosting für Websites jeder Komplexität anbietet. Bei technischen Fragen wenden Sie sich bitte an den Online-Chat oder telefonisch unter ☎️ 0 800 219 220.
Hat Ihnen der Artikel gefallen? Erzählen Sie Ihren Freunden davon: 
