Schädliche Bots, die wir blockieren

Außer guten Bots (User-Agents), wie GoogleBot, die die Website zum Indizieren in Suchmaschinen scannen, gibt es auch schädliche Bots, deren Ziel es ist, Statistiken auf der Website für Dritte zu sammeln, Preise für Waren und Dienstleistungen zu parsen, versteckte Seiten, Schwachstellen usw. zu suchen.

Schadhafte Bots bringen normalerweise keinen Nutzen für die Website-Besitzer, können jedoch viele Probleme verursachen, wie die Erzeugung sinnloser Last auf dem Hosting-Konto und Spam-Anfragen an die Website. Daher blockiert das Control Panel des virtuellen Hostings standardmäßig den Zugriff schädlicher Bots auf die Website, um solche Situationen zu verhindern und vorzubeugen.

Um einen schädlichen Bot, der nicht in der Standardliste enthalten ist, zu entsperren oder zu blockieren, befolgen Sie bitte die folgenden Schritte:

1. Öffnen Sie das Control Panel cp.cityhost.ua und gehen Sie zur Verwaltung des Hostings.

2. Gehen Sie zu den Einstellungen der gewünschten Website, wo Sie die Schaltfläche Sicherheit drücken.

3. Im Abschnitt Blockierte User-Agents drücken Sie die Schaltfläche Bearbeiten.

4. Im sich öffnenden Fenster können Sie die Liste der Bots verwalten, die keinen Zugriff auf die Website haben.

Wie man einen Bot zur Blockierungsliste hinzufügt

Sie können Ihren eigenen Bot hinzufügen, indem Sie auf das Feld am Ende der Liste klicken, dann den Namen des Bots (seinen User-Agent) eingeben und die Änderungen mit der Schaltfläche Speichern anwenden. Ab diesem Zeitpunkt hat der Bot KEINEN Zugriff auf die Website, was Sie überprüfen können, indem Sie den curl-Befehl aus dem folgenden Beispiel ausführen.

Die Groß- und Kleinschreibung spielt beim Schreiben keine Rolle — das Schreiben von testBot und TeStBoT funktioniert gleich. Erlaubte Zeichen sind A-z 0-9 / . , ( ) : ; + - (Leerzeichen). Den korrekten User-Agent des Bots können Sie aus dem Zugriffsprotokoll Ihrer Website oder auf der Website user-agents.net/bots erhalten.

Wie man einen Bot aus der Blockierungsliste entfernt

Gegenüber dem Namen (User-Agent) des Bots klicken Sie auf das Kreuzsymbol und wenden die Änderungen mit der Schaltfläche Speichern an. Ab diesem Zeitpunkt hat der Bot ZUGRIFF auf die Website, was Sie überprüfen können, indem Sie den curl-Befehl aus dem folgenden Beispiel ausführen.

Wie man die Standard-Botliste wiederherstellt

Wenn Sie die Botliste versehentlich oder absichtlich gelöscht haben, können Sie den Standardwert wiederherstellen und die Botblockierung aktivieren, indem Sie auf die Schaltfläche "Standardwert wiederherstellen" klicken.

Wie man den Blockierungsstatus überprüft

Den Blockierungsstatus eines bestimmten Bots (User-Agent) können Sie überprüfen, indem Sie den curl-Befehl über ein beliebiges Terminal ausführen, zum Beispiel in WEB-SSH beim Hosting.

Führen Sie den folgenden Befehl aus, nachdem Sie Ihre eigenen Daten eingesetzt haben:

curl -I "https://domain.zone" -A "user-agent"

https://domain.zone ? Ihre Website mit Angabe des Protokolls
user-agent  ? die ID des Bots

Im Falle einer Blockierung des Bots erhalten Sie die Antwort curl: (56) Recv failure: Connection reset by peer oder curl: (92) HTTP/2 stream 0 was not closed cleanly. Wenn der Bot nicht blockiert wird, erhalten Sie eine Antwort wie HTTP/1.1 200 OK oder einen anderen positiven Status.

Bitte beachten Sie

Monobank kann Anfragen an Ihre Website mit dem User-Agent go-http-client initiieren, der standardmäßig blockiert ist. Um Anfragen von Monobank zu erhalten, sollten Sie diesen User-Agent aus der Liste der blockierten entfernen.