Для управления индексацией сайта поисковыми системами могут использоваться файл robots.txt и sitemap. С их помощью вы можете передать в поисковую систему информацию о страницах своего сайта, запретить или наоборот разрешить им индексировать конкретные страницы.
Кроме этих вариантов, можно использовать и специальный тег, который в зависимости от специфики может применяться на различного рода сайтах. В статье мы расскажем о метатеге robots, который может применяться совместно с файлом robots.txt и позволяет управлять индексацией как по шаблону, так и индивидуально для каждой страницы.
Что такое метатег robots
При всех достоинствах у файла robots.txt есть один недостаток: он не может полностью убрать из выдачи уже проиндексированную страницу. Поэтому даже после указания в нем страницы, она может быть найдена, но при этом служебная информация о ней (например, description) будет отсутствовать. Вместо этого пользователи увидят комментарий «описание страницы недоступно из-за ограничений в файле в robots.txt». По факту файл удобен для изначального полного сокрытия страницы, однако более тонко настроить его нельзя.
В то же время метатег robots как раз позволяет осуществить более гибкую настройку индексирования за счет указания нужных значений в поле content:
При этом в первую очередь в метатеге определяется вообще сама возможность индексирования конкретной страницы и только потом перечисляются правила для поисковых роботов касаемо действий с контентом на ней и информацией.
Чтобы его корректно прочитали поисковые роботы, в атрибуте content ("ххххххххх") можно указать такие дериктивы:
- index/noindex – индексирование разрешено/запрещено;
- follow/nofollow – индексация ссылок, размещенных на страничке, разрешена/запрещена;
- all/none – полная индексация всей страницы разрешена/запрещена;
- noimageindex – запрещено индексировать любые изображения, размещенные на странице;
- noarchive – запрещено показывать в поиске ссылки «Сохраненная копия», позволяющие смотреть копию странички в кэше Google или Яндекса;
- nosnippet – запрещено выводить в поисковой выдаче сниппет, описывающий содержимое страницы;
- noodp – команда, сообщающая боту Google, что ему нельзя брать для сниппета информацию из DMOZ-каталога.
Как использовать метатег robots
Значение follow/nofollow позволяет переходить/не следовать по ссылкам. Index/noindex определяет возможность проверки содержимого на странице. Общий тег rel=nofollow может и вовсе закрыть поисковому роботу возможность сканирования всех имеющихся на странице ссылок. Все эти значения используются в различных комбинациях для улучшения процесса поисковой оптимизации.
В зависимости от того, что нужно (чтобы робот индексировал, но не переходил, или переходил по ссылкам без сканирования контента), можно задать поочередно различные значения. В частности, разрешение на индексирование с запретом перехода по ссылкам может быть необходимо в случае с представительствами крупного бренда. Каждый магазин имеет свою репутацию, которая не всегда идеальна и соответствует продвигаемым принципам главного бизнеса. В таких случаях задается специальный метатег, в котором последовательно указываются значения "index, nofollow". Таким образом, вкладка с представительствами будет доступна поисковому роботу для сканирования, однако по конкретным ссылкам он проследовать не сможет.
Метатег также удобен тем, что, применяя его, можно аккуратно настроить сложную индексацию. Это выражается в закрытии от поисковых роботов одних ссылок и прописывании сценариев действий для других. Помимо вышеуказанных примеров тегов, есть и другие значения, позволяющие тем или иным образом роботу взаимодействовать с контентом страницы.
В чем отличие мета-тега robots от файла robots.txt
В отличие от файла robots.txt, тег meta robots является более актуальным в плане использования для программирования действий поисковых систем по ссылкам. Там, где первый действует более просто и затрагивает практически всю страницу целиком, второй дает возможность отдельно закрыть ее части, настроить определенную логику действий. При этом можно поработать отдельно над каждым объектом или настроить шаблоны для пакетов страниц.
При этом в случае, если страница закрыта сразу через метатег и файл, поисковая система автоматически будет воспринимать правила именно последнего, как основного. По этой причине при необходимости открытия индексирования тегом важно проверить, чтобы в файле страница тоже была доступна для индексации. Тогда робот правильно выполнит заданный сценарий.
Публикация была познавательной? Тогда поделитесь ею в социальных сетях и добавляйтесь в наш Telegram канал. Напомним, что заказать дешевый хостинг вы можете у хостинг-компании CityHost. По техническим вопросам обращайтесь в онлайн чат или по телефону ☎️ 0 800 219 220.
Понравилась статья? Расскажите о ней друзьям: 
