Вредные боты которых мы блокируем

Кроме хороших ботов (user-agents), таких как GoogleBot, которые выполняют сканирование сайта для индексирования в поисковых системах, существуют и вредные боты, целью которых является сбор статистики на сайте для третьих лиц, парсинг цен на товары и услуги, поиск скрытых страниц, уязвимостей и т.д.

Вредоносные боты обычно не несут полезной нагрузки для владельцев сайтов, но могут создавать множество проблем, таких как генерация бессмысленной нагрузки на хостинг аккаунт и спам запросы к сайту, поэтому с целью предотвратить и предусмотреть такие ситуации, панель управления виртуальным хостингом по умолчанию блокирует вредоносным ботам доступ к сайту.

При необходимости разблокировать, или заблокировать на сайте вредоносного бота которого нет в списке по умолчанию воспользуйтесь следующими шагами:

1. Откройте панель управления cp.cityhost.ua и перейдите в управление хостингом.

2. Перейдите в настройки нужного сайта где нажмите кнопку Безопасность

3. В разделе Заблокированные user-agents нажмите кнопку Редактировать

4. В открывшемся окне можно управлять списком ботов, которые не будут иметь доступа к сайту.

Как добавить бота в список блокировки

Добавить собственного бота можно щелкнув на поле в конце списка, далее ввести название бота (его user-agent) и применить изменения кнопкой Сохранить. С этого момента бот НЕ имеет доступ к сайту, убедиться в этом можно выполнив curl-команду из примера ниже.

Регистр символов при написании роли не играет — написание testBot и TeStBoT будет работать одинаково. Разрешенные символы A-z 0-9 / . , ( ) : ; + - (пробел). Корректный user-agent бота можно получить из лога посещений своего сайта, или же на сайте user-agents.net/bots

Как удалить бота из списка блокировки

Напротив имени (user-agent) бота нажмите на значок крестика и примените изменения кнопкой Сохранить. С этого момента бот ИМЕЕТ доступ к сайту, убедиться в этом можно выполнив curl-команду из примера ниже.

Как восстановить список ботов по умолчанию

Если вы случайно или умышленно очистили список ботов, вернуть значение по умолчанию и включить блокировку ботов можно щелкнув на кнопку "Восстановить значение по умолчанию".

Как проверить состояние блокировки

Проверить состояние блокировки конкретного бота (user-agent) можно выполнив curl-команду через любой терминал, например в WEB-SSH на хостинге.

Выполните следующую команду, предварительно подставив собственные данные:

curl -I "https://domain.zone" -A "user-agent"

https://domain.zone ? ваш сайт с указанием протокола
user-agent  ? идентификатор бота

В случае блокировки бота, вернется ответ curl: (56) Recv failure: Connection reset by peer или curl: (92) HTTP/2 stream 0 was not closed cleanly. Если бот не блокируется, вернется ответ вроде HTTP/1.1 200 OK или любой другой положительный статус.

Обратите внимание

Монобанк может инициировать запросы на ваш сайт с использованием user-agent go-http-client, который, по умолчанию заблокирован. Для того, чтобы получать запросы от Монобанка, вам следует удалить этот user-agent из списка заблокированных.