Schädliche Bots, die wir blockieren

Neben guten Bots (User-Agents), wie GoogleBot, die die Website zum Indizieren in Suchmaschinen scannen, gibt es auch schädliche Bots, deren Ziel es ist, Statistiken auf der Website für Dritte zu sammeln, Preise für Waren und Dienstleistungen zu parsen, versteckte Seiten, Schwachstellen usw. zu suchen.

 

Schädliche Bots bringen in der Regel keine nützliche Last für die Website-Besitzer, können jedoch viele Probleme verursachen, wie z.B. generierung von sinnlosem Traffic auf das Hosting-Konto und Spam-Anfragen an die Website. Daher blockiert das Standard-Panel für die Verwaltung des virtuellen Hostings den Zugang zur Website für schädliche Bots, um solchen Situationen vorzubeugen.

 

Wenn Sie einen schädlichen Bot, der nicht in der Standardliste enthalten ist, auf der Website entsperren oder blockieren müssen, befolgen Sie die folgenden Schritte:

 

1. Öffnen Sie das Steuerpanel cp.cityhost.ua und gehen Sie zur Verwaltung des Hostings.

 

2. Gehen Sie zu den Einstellungen der gewünschten Website, wo Sie die Schaltfläche Sicherheit drücken.

 

 

3. Im Abschnitt Blockierte User-Agents klicken Sie auf die Schaltfläche Bearbeiten.

 

 

4. Im sich öffnenden Fenster können Sie die Liste der Bots verwalten, die keinen Zugang zur Website haben, sowie eine IP-Whitelist für Ausnahmen von den Blockierungsregeln einrichten.

 

 

Wie man einen Bot zur Blockierungsliste hinzufügt

 

Sie können Ihren eigenen Bot hinzufügen, indem Sie auf das Feld am Ende der Liste klicken, dann den Namen des Bots (seinen User-Agent) eingeben und die Schaltfläche Speichern drücken. Ab diesem Zeitpunkt hat der Bot keinen Zugang zur Website. 

 

 

Die Groß- und Kleinschreibung beim Schreiben des User-Agents spielt keine Rolle — die Schreibweise testBot und TeStBoT funktioniert gleich. Erlaubte Zeichen: A-z 0-9 / . , ( ) : ; + - (Leerzeichen).

Den korrekten User-Agent des Bots können Sie aus dem Besuchsprotokoll Ihrer Website oder von der Website user-agents.net/bots erhalten.

 

Wie man eine IP-Adresse zur Whitelist für User-Agent hinzufügt

 

Wenn Sie Anfragen von einer bestimmten IP-Adresse zulassen müssen, selbst wenn sie unter die Regeln zur Blockierung des User-Agents fallen, können Sie diese Adresse zur entsprechenden Whitelist hinzufügen.

Dazu suchen Sie im Bearbeitungsfenster der blockierten User-Agents den Block IP-Whitelist für die Blockierung des User-Agents.

Eine IP-Adresse kann auf zwei Arten hinzugefügt werden:

• Klicken Sie auf die Schaltfläche mit der Aufschrift Ihre IP, um die aktuelle IP-Adresse automatisch hinzuzufügen.
• Klicken Sie auf das Feld am Ende der Liste, geben Sie die gewünschte IP-Adresse ein und bestätigen Sie deren Hinzufügung.

 

Anfragen von IP-Adressen, die zu dieser Liste hinzugefügt wurden, werden nicht durch die Regeln des User-Agents blockiert. Um die Änderungen anzuwenden, klicken Sie auf die Schaltfläche Speichern.

 

Wie man einen Bot aus der Blockierungsliste entfernt

 

Klicken Sie neben dem Namen (User-Agent) des Bots auf das Kreuzsymbol und wenden Sie die Änderungen mit der Schaltfläche Speichern an. Ab diesem Zeitpunkt hat der Bot Zugang zur Website.

 

 

Wie man die Standard-Botliste wiederherstellt

 

Wenn Sie die Liste der Bots versehentlich oder absichtlich gelöscht haben, können Sie die Standardwerte wiederherstellen und die Blockierung der Bots wiederherstellen, indem Sie auf die Schaltfläche Standardwerte wiederherstellen klicken.

 

 

Einstellungen zur Blockierung von URIs

 

Neben der Blockierung nach User-Agent ermöglicht das Steuerpanel die Konfiguration der Blockierung verdächtiger URIs — Anfrageadressen an die Website, die Anzeichen von SQL-Injection und anderen potenziell gefährlichen Anfragen enthalten können.

Um solche Regeln zu verwalten, nutzen Sie die entsprechenden Einstellungen im Abschnitt Sicherheit der Website. Im Bearbeitungsfenster können Sie die Liste der blockierten URIs einsehen und ändern.

 

Wie man eine IP-Adresse zur Whitelist für URIs hinzufügt

 

Wenn Anfragen von einer bestimmten IP-Adresse fälschlicherweise unter die Regeln zur Blockierung von URIs fallen, können Sie diese Adresse zur entsprechenden Whitelist hinzufügen.

Dazu suchen Sie im Fenster Bearbeitung der blockierten URLs den Block IP-Whitelist für die Blockierung von URIs.

 

Eine IP-Adresse kann auf zwei Arten hinzugefügt werden:

• Klicken Sie auf die Schaltfläche mit der Aufschrift Ihre IP, um die aktuelle IP-Adresse automatisch hinzuzufügen.
• Klicken Sie auf das Feld am Ende der Liste, geben Sie die gewünschte IP-Adresse ein und bestätigen Sie deren Hinzufügung.

 

Anfragen von IP-Adressen, die zu dieser Liste hinzugefügt wurden, werden nicht durch die Regeln für URIs blockiert. Um die Änderungen anzuwenden, klicken Sie auf die Schaltfläche Speichern.

Wie man den Status der Blockierung überprüft

 

Den Status der Blockierung eines bestimmten Bots (User-Agent) können Sie überprüfen, indem Sie einen Curl-Befehl über ein beliebiges Terminal ausführen, z.B. in WEB-SSH auf dem Hosting.

 

Führen Sie den folgenden Befehl aus, nachdem Sie Ihre eigenen Daten eingegeben haben:

curl -I "https://domain.zone" -A "user-agent"

https://domain.zone — Ihre Website mit dem angegebenen Protokoll.
user-agent — die Identifikation des Bots.

 

Im Falle der Blockierung des Bots wird die Antwort curl: (56) Recv failure: Connection reset by peer oder curl: (92) HTTP/2 stream 0 was not closed cleanly zurückgegeben. Wenn der Bot nicht blockiert wird, wird eine Antwort wie HTTP/1.1 200 OK oder ein anderer positiver Status zurückgegeben.

 

Bitte beachten Sie

 

Monobank kann Anfragen an Ihre Website mit dem User-Agent go-http-client initiieren, der standardmäßig blockiert ist. Um Anfragen von Monobank zu erhalten, können Sie diesen User-Agent aus der Liste der blockierten entfernen.

Außerdem wurden für die korrekte Funktion der Integrationen auf den Hosting-Servern zusätzliche Ausnahmen für die IP-Adressen von Monobank eingerichtet:

• 3.123.182.27
• 63.180.143.70

Anfragen von diesen IP-Adressen ignorieren die entsprechenden Blockierungsregeln.

 

Wichtig: Die IP-Whitelist für User-Agent und URI wird separat konfiguriert. Wenn eine IP-Adresse von beiden Arten der Blockierung ausgeschlossen werden soll, muss sie in beiden Listen hinzugefügt werden.