Ограничение доступа для ботов

Очень часто поисковые боты достаточно агрессивно сканируют сайт и тем самым создают повышенную нагрузку. Для того чтобы остановить индексацию нужно прописать в файле robots.txt (в коревой папке сайта) следующее правило:

User-agent: *

Disallow: /

Это правило полностью исключает сканирование ботами сайта. Если полностью ограничить доступ к сайту для сканирования, сайт может пропасть в выдаче поисковых систем.

1. Поэтому можно ограничивать доступ только к конкретным папкам, ссылкам, файлам и расширениям с помощью директивы Disallow

Примеры:

User-agent: *

Disallow: /directoria

User-agent: *

Disallow: /privatinfo.php

User-agent: *

Disallow: /privatpic.jpg

User-agent: *

Disallow: / *jpg$

Более подробную информацию по работе с файлом можно найти в инструкциях google.

2. Также можно ограничить доступ через файл .htaccess к определенным страницам сайта как это было описано в инструкции.

Для ограничения доступа с конкретного IP-адреса, достаточно прописать правило:

Order Allow,Deny

Allow from all

Deny from ***.***.***.***

***.***.***.*** - заменить на  IP-адрес. Узнать IP адрес можно открыв логи сервера на FTP в папке logs.

3. Чтобы заблокировать доступ определенным странам кроме украинских (например) IP можно воспользоваться инструкцией.

4. Закрыть доступ ботам к уязвимым страницам можно через внутренюю капчу, которую можно найти в разделе Хостинг 2.0 - Сайты - Безопасность - ЗАЩИЩЕННЫЕ СТРАНИЦЫ (CAPTCHA)*:

*по-умолчанию капча включена для следующих страниц:

 WP LOGIN PAGE : wp-admin, wp-login.php

JOOMLA ADMIN PAGE: /administrator, view=login

 JOOMLA REGISTER PAGE : view=registration

 OC ADMIN PAGE : /admin

MODX ADMIN PAGE: /manager

 PRESTA SHOP ADMIN PAGE: /Backoffice

 DRUPAL ADMIN PAGE : /user/login/

Основные моменты работы с robots.txt  описано в нашем блоге - https://cityhost.ua/blog/chto-takoe-robots-txt-kak-nastroit-robots-txt-dlya-wordpress.html