Шкідливі боти яких ми блокуємо

Окрім хороших ботів (user-agents), таких як GoogleBot, які виконують сканування сайту для індексування в пошукових системах, існують й шкідливі боти, метою яких є збір статистики на сайті для третіх осіб, парсинг цін на товари й послуги, пошук прихованих сторінок, вразливостей тощо.

 

Шкідливі боти зазвичай не несуть корисного навантаження для власників сайтів, але можуть створювати безліч проблем, як-от генерація безглуздого навантаження на хостинг-акаунт та спам-запити до сайту. Тому з метою запобігти таким ситуаціям панель керування віртуальним хостингом за замовчуванням блокує доступ до сайту для шкідливих ботів.

 

За потреби розблокувати або заблокувати на сайті шкідливого бота, якого немає у списку за замовчуванням, скористайтеся наступними кроками:

 

1. Відкрийте панель керування cp.cityhost.ua та перейдіть у керування хостингом.

 

2. Перейдіть у налаштування потрібного сайту, де натисніть кнопку Безпека.

 

 

3. У розділі Заблоковані user-agents натисніть кнопку Редагувати.

 

 

4. У вікні, що відкриється, можна керувати списком ботів, які не матимуть доступу до сайту, а також налаштувати IP whitelist для винятків із правил блокування.

 

 

Як додати бота до списку блокування

 

Додати власного бота можна, клацнувши на поле в кінці списку, далі ввести назву бота (його user-agent) і натиснути кнопку Зберегти. З цього моменту бот не матиме доступу до сайту. 

 

 

Регістр символів при написанні user-agent не має значення — написання testBot та TeStBoT працюватиме однаково. Дозволені символи: A-z 0-9 / . , ( ) : ; + - (пробіл).

Коректний user-agent бота можна отримати з логу відвідувань свого сайту або на сайті user-agents.net/bots.

 

Як додати IP-адресу до whitelist для User-Agent

 

Якщо потрібно дозволити запити з певної IP-адреси, навіть якщо вони підпадають під правила блокування User-Agent, можна додати цю адресу до відповідного whitelist.

Для цього у вікні редагування заблокованих User-Agent знайдіть блок IP whitelist для блокування User-Agent.

Додати IP-адресу можна двома способами:

• Натиснути кнопку з написом Ваш IP, щоб автоматично додати поточну IP-адресу.
• Натиснути на поле в кінці списку, ввести потрібну IP-адресу та підтвердити її додавання.

 

Запити з IP-адрес, доданих до цього списку, не блокуватимуться правилами User-Agent. Щоб застосувати зміни, натисніть кнопку Зберегти.

 

Як видалити бота зі списку блокування

 

Навпроти імені (user-agent) бота натисніть на значок хрестика та застосуйте зміни кнопкою Зберегти. З цього моменту бот матиме доступ до сайту.

 

 

Як відновити список ботів за замовчуванням

 

Якщо ви випадково чи навмисне очистили список ботів, повернути значення за замовчуванням і відновити блокування ботів можна, натиснувши кнопку Відновити значення за замовчуванням.

 

 

Налаштування блокування URI

 

Окрім блокування за User-Agent, панель керування дозволяє налаштовувати блокування підозрілих URI — адрес запитів до сайту, які можуть містити ознаки SQL-ін'єкцій та інших потенційно небезпечних запитів.

Для керування такими правилами скористайтеся відповідними налаштуваннями в розділі Безпека сайту. У вікні редагування можна переглянути та змінити список заблокованих URI.

 

Як додати IP-адресу до whitelist для URI

 

Якщо запити з певної IP-адреси помилково підпадають під правила блокування URI, можна додати цю адресу до відповідного whitelist.

Для цього у вікні Редагування заблокованих URL знайдіть блок IP whitelist для блокування URI.

 

Додати IP-адресу можна двома способами:

• Натиснути кнопку з написом Ваш IP, щоб автоматично додати поточну IP-адресу.
• Натиснути на поле в кінці списку, ввести потрібну IP-адресу та підтвердити її додавання.

 

Запити з IP-адрес, доданих до цього списку, не блокуватимуться правилами URI. Щоб застосувати зміни, натисніть кнопку Зберегти.

Як перевірити стан блокування

 

Перевірити стан блокування конкретного бота (user-agent) можна, виконавши curl-команду через будь-який термінал, наприклад у WEB-SSH на хостингу.

 

Виконайте наступну команду, попередньо підставивши власні дані:

curl -I "https://domain.zone" -A "user-agent"

https://domain.zone — ваш сайт із зазначенням протоколу.
user-agent — ідентифікатор бота.

 

У випадку блокування бота повернеться відповідь curl: (56) Recv failure: Connection reset by peer або curl: (92) HTTP/2 stream 0 was not closed cleanly. Якщо бот не блокується, повернеться відповідь на кшталт HTTP/1.1 200 OK або будь-який інший позитивний статус.

 

Зверніть увагу

 

Monobank може ініціювати запити на ваш сайт із використанням user-agent go-http-client, який за замовчуванням заблокований. Щоб отримувати запити від Monobank, ви можете видалити цей user-agent зі списку заблокованих.

Також для коректної роботи інтеграцій на серверах хостингу налаштовано додаткові винятки для IP-адрес Monobank:

• 3.123.182.27
• 63.180.143.70

Запити з цих IP-адрес ігнорують відповідні правила блокування.

 

Важливо: IP whitelist для User-Agent та URI налаштовуються окремо. Якщо необхідно виключити IP-адресу з обох типів блокування, її потрібно додати до обох списків.