Szkodliwe boty, które blokujemy

Oprócz dobrych botów (user-agents), takich jak GoogleBot, które skanują stronę w celu indeksowania w wyszukiwarkach, istnieją również szkodliwe boty, których celem jest zbieranie statystyk na stronie dla osób trzecich, parsowanie cen produktów i usług, wyszukiwanie ukrytych stron, luk w zabezpieczeniach itp.

 

Szkodliwe boty zazwyczaj nie przynoszą użytecznego obciążenia dla właścicieli stron, ale mogą powodować wiele problemów, takich jak generowanie bezsensownego obciążenia na koncie hostingowym oraz spamowe zapytania do strony. Dlatego w celu zapobieżenia takim sytuacjom panel zarządzania wirtualnym hostingiem domyślnie blokuje dostęp do strony dla szkodliwych botów.

 

W razie potrzeby odblokowania lub zablokowania na stronie szkodliwego bota, którego nie ma na liście domyślnej, skorzystaj z następujących kroków:

 

1. Otwórz panel zarządzania cp.cityhost.ua i przejdź do zarządzania hostingiem.

 

2. Przejdź do ustawień odpowiedniej strony, gdzie kliknij przycisk Bezpieczeństwo.

 

 

3. W sekcji Zablokowane user-agents kliknij przycisk Edytuj.

 

 

4. W oknie, które się otworzy, można zarządzać listą botów, które nie będą miały dostępu do strony, a także skonfigurować IP whitelist dla wyjątków z zasad blokowania.

 

 

Jak dodać bota do listy blokowania

 

Możesz dodać własnego bota, klikając pole na końcu listy, następnie wprowadź nazwę bota (jego user-agent) i kliknij przycisk Zapisz. Od tego momentu bot nie będzie miał dostępu do strony. 

 

 

Wielkość liter przy pisaniu user-agent nie ma znaczenia — zapis testBot oraz TeStBoT będzie działał tak samo. Dozwolone znaki: A-z 0-9 / . , ( ) : ; + - (spacja).

Poprawny user-agent bota można uzyskać z logu odwiedzin swojej strony lub na stronie user-agents.net/bots.

 

Jak dodać adres IP do whitelist dla User-Agent

 

Jeśli chcesz zezwolić na zapytania z określonego adresu IP, nawet jeśli podlegają zasadom blokowania User-Agent, możesz dodać ten adres do odpowiedniego whitelist.

Aby to zrobić, w oknie edytowania zablokowanych User-Agent znajdź blok IP whitelist dla blokowania User-Agent.

Adres IP można dodać na dwa sposoby:

• Kliknij przycisk z napisem Twój IP, aby automatycznie dodać bieżący adres IP.
• Kliknij pole na końcu listy, wprowadź odpowiedni adres IP i potwierdź jego dodanie.

 

Zapytania z adresów IP dodanych do tej listy nie będą blokowane przez zasady User-Agent. Aby zastosować zmiany, kliknij przycisk Zapisz.

 

Jak usunąć bota z listy blokowania

 

Obok nazwy (user-agent) bota kliknij ikonę krzyżyka i zastosuj zmiany przyciskiem Zapisz. Od tego momentu bot będzie miał dostęp do strony.

 

 

Jak przywrócić domyślną listę botów

 

Jeśli przypadkowo lub celowo wyczyściłeś listę botów, możesz przywrócić wartości domyślne i wznowić blokowanie botów, klikając przycisk Przywróć wartości domyślne.

 

 

Ustawienia blokowania URI

 

Oprócz blokowania według User-Agent, panel zarządzania pozwala na konfigurowanie blokowania podejrzanych URI — adresów zapytań do strony, które mogą zawierać oznaki SQL-iniekcji i innych potencjalnie niebezpiecznych zapytań.

Aby zarządzać takimi zasadami, skorzystaj z odpowiednich ustawień w sekcji Bezpieczeństwo strony. W oknie edytowania można przeglądać i zmieniać listę zablokowanych URI.

 

Jak dodać adres IP do whitelist dla URI

 

Jeśli zapytania z określonego adresu IP błędnie podlegają zasadom blokowania URI, można dodać ten adres do odpowiedniego whitelist.

Aby to zrobić, w oknie Edytowanie zablokowanych URL znajdź blok IP whitelist dla blokowania URI.

 

Adres IP można dodać na dwa sposoby:

• Kliknij przycisk z napisem Twój IP, aby automatycznie dodać bieżący adres IP.
• Kliknij pole na końcu listy, wprowadź odpowiedni adres IP i potwierdź jego dodanie.

 

Zapytania z adresów IP dodanych do tej listy nie będą blokowane przez zasady URI. Aby zastosować zmiany, kliknij przycisk Zapisz.

Jak sprawdzić stan blokowania

 

Możesz sprawdzić stan blokowania konkretnego bota (user-agent), wykonując polecenie curl w dowolnym terminalu, na przykład w WEB-SSH na hostingu.

 

Wykonaj następujące polecenie, wcześniej podstawiając własne dane:

curl -I "https://domain.zone" -A "user-agent"

https://domain.zone — twoja strona z podanym protokołem.
user-agent — identyfikator bota.

 

W przypadku zablokowania bota zwróci odpowiedź curl: (56) Recv failure: Connection reset by peer lub curl: (92) HTTP/2 stream 0 was not closed cleanly. Jeśli bot nie jest blokowany, zwróci odpowiedź w stylu HTTP/1.1 200 OK lub inny pozytywny status.

 

Zwróć uwagę

 

Monobank może inicjować zapytania do twojej strony z użyciem user-agent go-http-client, który jest domyślnie zablokowany. Aby otrzymywać zapytania od Monobank, możesz usunąć ten user-agent z listy zablokowanych.

Również dla poprawnej pracy integracji na serwerach hostingu skonfigurowano dodatkowe wyjątki dla adresów IP Monobank:

• 3.123.182.27
• 63.180.143.70

Zapytania z tych adresów IP ignorują odpowiednie zasady blokowania.

 

Ważne: IP whitelist dla User-Agent oraz URI są konfigurowane osobno. Jeśli konieczne jest wykluczenie adresu IP z obu typów blokowania, należy go dodać do obu list.