При создании сайта на хостинге следует закрыть его от индексации, иначе неоптимизированный контент и дубли страниц мгновенно попадут в поисковую выдачу. Следует позаботиться и о закрытии веб-ресурса от пользователей, поскольку перейдя на пустую страницу, они моментально уйдут, что впоследствии негативно повлияет на ранжирование.
В этой статье мы рааскажем, как скрыть сайт на время разработки, а также дадим пошаговую инструкцию по закрытию веб-ресурса с помощью инструментов на хостинге Cityhost.
Как скрыть сайт при разработке с помощью robots.txt
Файл robots.txt — текстовый документ, предназначенный для контроля поведения поисковых роботов (краулеров) при сканировании интернет-проекта. Они посещают этот файл в первую очередь, после чего следуют прописанным указаниям (директивам): например, одни части веб-ресурса сканируют, а другие — игнорируют.
Вы можете использовать стандартные указания для частичного или полного закрытия сайта при разработке. Чтобы правильно закрыть веб-ресурс от индексации, необходимо знать основные директивы robots.txt:
-
User-agent — определяет одного или группу роботов, которые должны придерживаться прописанных указаний;
-
Disallow — запрещает индексировать определенные страницы или целые директории;
-
Allow — позволяет индексировать страницы или директории, чтобы Вы могли более точно управлять доступом роботов к отдельной информации на сайте;
-
Sitemap — указывает путь к файлу XML Sitemap (содержит список всех доступных страниц), помогая поисковым работам эффективнее индексировать веб-ресурс.
Опираясь на вышеописанные директивы, вы можете без проблем закрыть сайт от поиска, используя следующее сочетание указаний:
User-agent: *
Disallow: /
В приведенном примере символ «*» после «User-agent» указывает, что директивы «Disallow» применяются ко всем роботам. Указание «Disallow: /» означает, что все страницы и директории на веб-ресурсе запрещены для индексации.
У многих пользователей возникает вопрос, как скрыть сайт от индексации, оставив доступ к одной поисковой системе. Для этого рассмотрим следующий пример:
User-agent: *
Disallow: /
User-agent: Google
Allow: /
В этом случае индексация будет доступна только для роботов Google. Вы можете указать любую другую поисковую систему, поставив ее название вместо Google.
Еще одно полезное указание:
User-agent: *
Disallow: /
Allow: /$
Такая директива позволяет закрыть интернет-проект от индексации, оставив доступной главную страницу. Она особенно полезна для новых веб-ресурсов, ведь вы можете спокойно настраивать проект, при этом поисковики узнают о его существовании, соответственно он раньше начнет набирать траст.
Читайте также: Как повысить авторитет домена: проверка и улучшение показателя DA
Как скрыть сайт на время разработки на уровне сервера
Закрытие сайта от индексации через robots.txt — самый распространенный, но не стопроцентный метод. Он только дает указания, а вот следовать им или нет — решает конкретный поисковик. В некоторых случаях поисковики игнорируют запреты, индексируя все данные. Это случается редко, но подвергать такому риску молодой проект крайне нежелательно.
Мы рекомендуем дополнительно закрывать данные от поисковиков на уровне сервера. Для этого используйте файл .htaccess, размещенный в корневой директории веб-ресурса (если документ отсутствует — создайте его). К нему нужно добавить следующую строчку:
Options -Indexes
Вы также можете добавить в файл специальный код, запрещающий сканирование определенным работам. Например, рассмотрим, как закрыть сайт от поиска Google. Добавьте в файл .htaccess следующую директиву:
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} UserAgentName [NC]
RewriteRule .* - [F,L]
Вместо UserAgentName подставьте имя бота — для гугла это Googlebot.
Комбинируя два способа, вы получите максимальный эффект: robots.txt обеспечит полное закрытие сайта, а .htaccess — дополнительный уровень безопасности. Единственный недостаток — придется самостоятельно редактировать важные файлы веб-ресурса, а значить есть хоть и минимальный, но риск его повредить.
Как скрыть сайт на WordPress
А теперь давайте рассмотрим алгоритм закрытия данных для сайтов, разработанных на популярной CMS WordPress. Саму процедуру можно разделить на два этапа: закрытие данных от поисковых роботов и установка заглушки для посетителей.
Как запретить индексацию сайта на WordPress
Разработчики известной системы управления сайтами WordPress предусмотрели возможность скрыть данные от краулеров, максимально упростив процесс.
В панели управления перейдите в раздел «Настройки» — «Чтение», выберите «Попросить поисковые системы не индексировать сайт» и нажмите «Сохранить изменения».
Система самостоятельно отредактирует файл robots.txt, а вам останется не забывать снять галочку перед запуском проекта. Если используете плагин Yoast SEO, то такое напоминание будет постоянно появляться при входе в панель управления.
Кстати, плагин Yoast SEO удобно использовать для закрытия отдельных страниц от индексации. Достаточно открыть запись (страницу) для редактирования и найти вкладку «Дополнительно». В пункте «Разрешить поисковым системам показывать запись в результатах поиска» выберите «Нет». Можно также указать, следует ли работам следить за ссылками в этой записи, а из выпадающего списка «Расширенная настройка Meta Robots» выбрать пункт «не индексировать изображение».
Согласитесь, гораздо удобнее поставить одну галочку в общих настройках, чем самостоятельно редактировать файл robots.txt. Проблема только в том, что далеко не все системы управления позволяют так же легко скрыть данные поисковых систем. Но здесь вам уже поможет функционал Cityhost, который мы разберем дальше, а пока научимся ставить информативную заглушку на WordPress.
Читайте также: Как защитить сайт на WordPress и не стать жертвой уязвимостей открытого кода
Как закрыть сайт на Wordpress от посетителей
Maintenance — один из самых популярных WordPress плагинов, позволяющий легко установить и настроить заглушку. Вы можете установить фоновое изображение, оставить сообщения и контактные данные, благодаря чему при разработке сайта удастся не потерять потенциальных клиентов.
Для установки плагина Maintenance сделайте следующее:
-
На панели управления перейдите на вкладку «Плагины».
-
Щелкните «Добавить новый».
-
Нажмите на установку возле нужного плагина (первый по списку).
-
Активируйте расширение.
Теперь заглушка активна, остается только ее настроить по своему усмотрению. Достаточно перейти во вкладку Maintenance, после чего изменить название страницы, заголовок, описание, текст в футере, добавить логотип и фоновое изображение и даже свой CSS код. К тому же вы можете установить Google Analytics ID, получая информацию о посетителях при разработке веб-ресурса.
У плагина есть версия PRO, но бесплатной вполне достаточно для базовой настройки основной страницы.
Как скрыть сайт при разработке с помощью инструментов Cityhost
Без ложной скромности скажем, что Cityhost предлагает огромное количество инструментов для работы с сайтами. Например, среди опций панели управления есть возможность закрыть сайт от краулеров очень простыми методами и установить баннер-заглушку на сам сайт.
Как закрыть сайт от поисковых систем
С помощью инструментов панели управления можно легко заблокировать поисковые боты по user-agent, не редактируя код сайта.
-
Откройте панель cp.cityhost.ua и перейдите в управление хостингом.
-
В настройках нужного проекта выберите «Безопасность».
-
Щелкните «Редактировать» напротив пункта «Заблокированные User-Agents».
-
В новом окне введите список роботов поисковых систем, например GoogleBot, YandexBot, BingBot, SlurpBot (поиск Yahoo).
Также вы можете добавить любой вредоносный бот, целью которого является сбор статистики для третьих лиц, парсинг цен на товары и услуги, обнаружение скрытых страниц, уязвимостей и т.д. А некоторые вредоносные боты вообще создают чрезмерную нагрузку на веб-ресурс, снижая скорость загрузки страниц.
Как установить баннер-заглушку
На Cityhost можно так же легко закрыть сайт от посетителей, установив баннер-заглушку:
-
Войдите в панель управления сайтом на хостинге.
-
Нажмите кнопку «Редактировать» напротив функции «Режим технического обслуживания».
-
В списке выберите «Включить».
Вы можете сразу добавить IP-адреса людей, которым разрешен доступ к веб-ресурсу. Это невероятно полезная функция, если над проектом работает одновременно несколько человек, например, клиент, тестировщик, контент-менеджер.
Как узнать, удалось ли скрыть сайт на время разработки
В статье мы описали эффективные способы закрытия сайта при разработке как от посетителей, так и от краулеров. С заглушкой никогда не возникает проблем, ведь ее можно мгновенно установить с помощью плагина или инструментов Cityhost. Для проверки достаточно ввести адрес веб-ресурса в поисковую строку и посмотреть результат (рекомендуем заходить через новую вкладку в режиме инкогнито).
Общий процесс закрытия данных от поисковых роботов тоже прост, но конечный результат зависит от краулеров. В некоторых случаях они могут просто проигнорировать запреты, решив проиндексировать веб-ресурс. Именно поэтому нужно периодически проверять, удалось ли закрыть сайт от индексации, а сделать это можно с помощью:
-
поискового оператора — введите в адресную строку site:https:// + URL вашего ресурса, после чего смотрите, какие страницы есть в выдаче;
-
поисковой консоли — процедура зависит от конкретной системы. Например, проверка площадки в выдаче Google происходит через Google Search Console. Вы просто авторизируетесь на сервисе, выбираете «Проверка URL» и вставляете адрес веб-ресурса;
-
расширение для браузера — используйте любое приложение для быстрого анализа сайта. Например, установите и активируйте RDS Bar, затем перейдите на проект и посмотрите информацию о нем.
Идеальный результат: в выдаче нет ни одной страницы вашего сайта! Но этот результат является идеальным, конечно же, при разработке проекта. Как только он будет готов, снова разрешите поисковым работам анализировать страницы и отображать их в выдаче. Если же понадобится помощь в закрытии веб-ресурса или других настройках на нашей панели управления, обратитесь в службу поддержки Cityhost, и наши специалисты проведут профессиональную консультацию.
Читайте также: Техническая поддержка Cityhost.ua - как это работает
Понравилась статья? Расскажите о ней друзьям: 
