Standardmäßig erstellt WordPress automatisch eine robots.txt-Datei für jede Website. Aber es gibt einige Nuancen. Erstens weiß der Benutzer nicht, wo sich die robots.txt in WordPress befindet. Zweitens kann er sie nicht bearbeiten.
Die Standarddatei passt den wenigsten Nutzern, daher muss sie unbedingt bearbeitet werden, um anzugeben, welche Verzeichnisse von der Indizierung ausgeschlossen werden sollen und welche für Suchmaschinen zugänglich bleiben. Und dafür ist es notwendig, alles über die robots.txt-Datei in WordPress zu wissen: wo man sie findet, wie man sie einrichtet usw. Lassen Sie uns diese Frage näher betrachten.
Überprüfen Sie das Vorhandensein der robots.txt-Datei
Also, das WordPress-System erstellt automatisch eine virtuelle robots.txt-Datei. Aber es gibt Ausnahmen. Und bevor Sie danach suchen, sollten Sie sicherstellen, dass sie existiert.
Der einfachste Weg, dies zu überprüfen, besteht darin, die Zeile /robots.txt an die Adresse der Website anzuhängen. Es sollte ungefähr so aussehen:
https://wordpress-school.com.ua/robots.txt
Wenn diese Datei vorhanden ist, öffnet sich eine neue Seite mit ungefähr folgendem Inhalt:
In der robots.txt-Datei sind mehrere Zeilen angegeben, daher gilt sie als ungültig. Sie muss geändert werden, indem detailliert angegeben wird, was indiziert werden kann und was nicht. Aber die virtuelle Datei kann nicht bearbeitet werden, es muss eine physische Version auf dem Hosting erstellt werden.
Natürlich müssen Sie zunächst verstehen, wo sich die robots.txt-Datei auf der WordPress-Website befindet, denn die neue Datei muss sich dort befinden, wo die vorherige war. Andernfalls werden Suchmaschinen sie nicht finden und annehmen, dass sie einfach nicht existiert (was als kritischer Fehler bei der Förderung der Website angesehen wird).
Wo finde ich die robots.txt-Datei und wie arbeite ich damit?
Die robots.txt-Datei befindet sich im Root-Verzeichnis der Website. Sie kann auf verschiedene Weise geöffnet werden.
Erste – über das Hosting-Control-Panel. In diesem Fall müssen Sie dem Pfad folgen: www/website_adresse.
- wp-admin;
- wp-content;
- wp-includes.
Und darunter befinden sich verschiedene Dateien, einschließlich robots.txt.
Zweite Methode – mit einem auf dem Computer installierten FTP-Client. Zum Beispiel über das Programm Filezilla.
- Sie melden sich beim Hosting mit Filezilla an;
- Sie öffnen die Ordner www/website_adresse;
- Sie finden die Datei robots.txt.
Nachdem Sie sie ausgewählt haben und mit der rechten Maustaste klicken, können Sie sie bearbeiten. Oder eine neue erstellen, wenn die Datei fehlt.
Dritte Methode – mit speziellen WordPress-Plugins (Yoast SEO oder All in One SEO).
Sie bieten viele nützliche Funktionen, einschließlich der Fähigkeit, eine robots.txt-Datei für die WordPress-Website zu erstellen. Diese Option ist sehr einfach und eignet sich hervorragend für Anfänger. Es reicht aus, das passende Plugin zu installieren und den Inhalt der robots.txt-Datei der WordPress-Website zu bearbeiten.
Es ist nicht nötig, sich im Hosting-Control-Panel anzumelden oder einen FTP-Client auf dem Computer zu installieren. Außerdem müssen Sie nicht herausfinden, wo Sie die Datei in WordPress suchen (das SEO-Plugin erstellt die Datei selbst an der richtigen Stelle und speichert die Änderungen).
Und die letzte Option – sich mit den Managern des Unternehmens zu beraten, bei dem Sie das Website-Hosting bestellt haben.
Dies ist bereits die letzte Maßnahme, die denjenigen hilft, die absolut keine Ahnung haben, wie man auf das Control-Panel zugreift oder ein SEO-Plugin installiert. Die Manager helfen, diese Frage zu klären und erklären detailliert, wo man die robots.txt-Datei für Ihre Website findet und wie man sie richtig einrichtet.
Lesen Sie auch: Wie man einen Online-Shop auf WordPress erstellt?
Hat Ihnen der Artikel gefallen? Erzählen Sie Ihren Freunden davon: 
