Вредные боты которых мы блокируем

Кроме хороших ботов, таких как GoogleBot, выполняющих сканирование сайта для индексирования в поисковых системах, есть вредоносные боты, целью которых является сбор статистики на сайте для третьих лиц, парсинг цен на товары и услуги, поиск скрытых страниц, уязвимостей и т.п.

Вредные боты не несут полезную нагрузку для владельцев сайтов, которые не работают с этими ботами и не пользуются их услугами, о том, для всех других сайтов, данные вредоносные боты могут создавать множество проблем, как генерация бессмысленной нагрузки на хостинг аккаунт, которая генерирует сайт , которого посещают вредоносные боты.

С целью предотвратить и предусмотреть такие ситуации, панель управления виртуальным хостингом по умолчанию блокирует доступ к вредоносным ботам.

Просмотреть список заблокированных ботов и при необходимости разблокировать их можно следующим образом:

1. Откройте панель управления cp.cityhost.ua и перейдите в управление нужным хостингом.

2. Перейдите в настройки сайта, для его просмотра список ботов и нажмите кнопку Безопасность

3. В разделе Заблокированные user-agents нажмите кнопку Изменить

4. В открывшемся окне можно отметить галочками ботов, которых нужно, или не нужно блокировать на сайте.

5. После внесения изменений в список нажмите кнопку Сохранить

Проверить состояние блокировки конкретного бота можно curl командой:

curl -I "cityhost.ua" -A "BotName"

где, cityhost.ua — Ваш сайт, и BotName — user-agent бота.

В случае блокировки бота, вернется ответ — curl: (56) Recv failure: Connection reset by peer. Если бот не блокируется, вернется ответ по типу — HTTP/1.1 200 OK