Wrogie boty, które blokujemy

Oprócz dobrych botów (user-agents), takich jak GoogleBot, które skanują stronę w celu indeksowania w wyszukiwarkach, istnieją również szkodliwe boty, których celem jest zbieranie statystyk na stronie dla osób trzecich, parsowanie cen produktów i usług, wyszukiwanie ukrytych stron, luk w zabezpieczeniach itp.

Szkodliwe boty zazwyczaj nie przynoszą korzyści właścicielom stron, ale mogą powodować wiele problemów, takich jak generowanie bezsensownego obciążenia na konto hostingowe i spamowe zapytania do strony, dlatego w celu zapobieżenia i przewidzenia takich sytuacji, panel zarządzania wirtualnym hostingiem domyślnie blokuje szkodliwym botom dostęp do strony.

W razie potrzeby odblokowania lub zablokowania na stronie szkodliwego bota, którego nie ma na liście domyślnej, skorzystaj z następujących kroków:

1. Otwórz panel zarządzania cp.cityhost.ua i przejdź do zarządzania hostingiem.

2. Przejdź do ustawień odpowiedniej strony, gdzie kliknij przycisk Bezpieczeństwo

3. W sekcji Zablokowane user-agents kliknij przycisk Edytować

4. W otwartym oknie można zarządzać listą botów, które nie będą miały dostępu do strony.

Jak dodać bota do listy blokady

Możesz dodać własnego bota, klikając na pole na końcu listy, następnie wprowadź nazwę bota (jego user-agent) i zastosuj zmiany przyciskiem Zapisz. Od tego momentu bot NIE ma dostępu do strony, co można zweryfikować wykonując polecenie curl z poniższego przykładu.

Wielkość liter przy pisaniu nie ma znaczenia — zapis testBot i TeStBoT będzie działał identycznie. Dozwolone znaki to A-z 0-9 / . , ( ) : ; + - (spacja). Poprawny user-agent bota można uzyskać z logu odwiedzin swojej strony, lub na stronie user-agents.net/bots

Jak usunąć bota z listy blokady

Naprzeciwko nazwy (user-agent) bota kliknij ikonę krzyżyka i zastosuj zmiany przyciskiem Zapisz. Od tego momentu bot MA dostęp do strony, co można zweryfikować wykonując polecenie curl z poniższego przykładu.

Jak przywrócić domyślną listę botów

Jeśli przypadkowo lub celowo wyczyściłeś listę botów, możesz przywrócić wartość domyślną i włączyć blokadę botów, klikając przycisk "Przywróć wartość domyślną".

Jak sprawdzić stan blokady

Możesz sprawdzić stan blokady konkretnego bota (user-agent) wykonując polecenie curl przez dowolny terminal, na przykład w WEB-SSH na hostingu.

Wykonaj następujące polecenie, wcześniej podstawiając własne dane:

curl -I "https://domain.zone" -A "user-agent"

https://domain.zone ? twoja strona z podaniem protokołu
user-agent  ? identyfikator bota

W przypadku zablokowania bota, zwróci odpowiedź curl: (56) Recv failure: Connection reset by peer lub curl: (92) HTTP/2 stream 0 was not closed cleanly. Jeśli bot nie jest blokowany, zwróci odpowiedź w stylu HTTP/1.1 200 OK lub inny pozytywny status.

Zwróć uwagę

Monobank może inicjować zapytania do twojej strony z użyciem user-agent go-http-client, który domyślnie jest zablokowany. Aby otrzymywać zapytania od Monobanku, powinieneś usunąć ten user-agent z listy zablokowanych.