Шкідливі боти яких ми блокуємо

Окрім хороших ботів (user-agents), таких як GoogleBot, які виконують сканування сайту для індексування в пошукових системах, існують й шкідливі боти, метою яких є збір статистики на сайті для третіх осіб, парсинг цін на товари й послуги, пошук прихованих сторінок, вразливостей тощо.

Шкідливі боти зазвичай не несуть корисного навантаження для власників сайтів, але можуть створювати безліч проблем, як от генерація безглуздого навантаження на хостинг акаунт та спам запити до сайту, тому з метою запобігти й передбачити такі ситуації, панель керування віртуальним хостингом за замовчуванням блокує шкідливим ботам доступ до сайту.

За потреби розблокувати, або заблокувати на сайті шкідливого бота якого немає в списку за замовчуванням скористайтесь наступними кроками:

1. Відкрийте панель керування cp.cityhost.ua та перейдіть в керування хостингом.

2. Перейдіть в налаштування потрібного сайту де натисніть кнопку Безпека

3. В розділі Заблоковані user-agents натисніть кнопку Редагувати

4. У вікні, що відкриється, можна керувати списком ботів, які не матимуть доступу до сайту.

Як додати бота до списку блокування

Додати власного бота можна клацнувши на поле в кінці списку, далі ввести назву бота (його user-agent) і застосувати зміни кнопкою Зберегти. З цього моменту бот НЕ має доступ до сайту, впевнитись в цьому можна виконавши curl-команду з прикладу нижче.

Регістр символів при написанні ролі не відіграє — написання testBot та TeStBoT працюватиме однаково. Дозволені символи A-z 0-9 / . , ( ) : ; + - (пробіл). Коректний user-agent бота можна отримати з логу відвідувань свого сайту, або ж на сайті user-agents.net/bots

Як видалити бота зі списку блокування

Навпроти імені (user-agent) бота натисніть на значок хрестика та застосуйте зміни кнопкою Зберегти. З цього моменту бот МАЄ доступ до сайту, впевнитись в цьому можна виконавши curl-команду з прикладу нижче.

Як відновити список ботів за замовчуванням

Якщо ви випадково чи навмисне очистили список ботів, повернути значення за замовчуванням і увімкнути блокування ботів можна клацнувши на кнопку "Відновити значення за замовчуванням".

Як перевірити стан блокування

Перевірити стан блокування конкретного бота (user-agent) можна виконавши curl-команду через будь-який термінал, наприклад у WEB-SSH на хостингу.

Виконайте наступну команду, попередньо підставивши власні дані:

curl -I "https://domain.zone" -A "user-agent"

https://domain.zone ? ваш сайт з вказанням протоколу
user-agent ? ідентифікатор бота

У випадку блокування бота, повернеться відповідь curl: (56) Recv failure: Connection reset by peer або curl: (92) HTTP/2 stream 0 was not closed cleanly. Якщо бот не блокується, повернеться відповідь на кшталт HTTP/1.1 200 OK або будь-який інший позитивний статус.

Зверніть увагу

Монобанк може ініціювати запити на ваш сайт із використанням user-agent go-http-client, який, за замовчуванням заблокований. Для того, щоб отримувати запити від Монобанку, вам слід видалити цей user-agent зі списку заблокованих.