Під час створення сайту на хостингу слід закрити його від індексації, інакше неоптимізований контент та дублі сторінок вмить потраплять у пошукову видачу. Потрібно подбати й про приховання веб-ресурсу від користувачів, оскільки перейшовши на порожню сторінку, вони моментально підуть геть, що згодом негативно вплине на ранжування.
У цій статті ми розкажемо вам, як приховати сайт на час розробки, та дамо покрокову інструкцію закриття веб-ресурсу за допомогою інструментів на хостингу Cityhost.
Як приховати сайт на час розробки за допомогою robots.txt
Файл robots.txt — це текстовий документ, призначений для контролю поведінки пошукових роботів (краулерів) під час сканування інтернет-проєкту. Вони відвідують цей файл у першу чергу, після чого дотримуються прописаних вказівок (директив): наприклад, одні частини веб-ресурсу сканують, а інші — ігнорують.
Ви можете використовувати стандартні вказівки для часткового або повного приховання сайту під час розробки. Щоб правильно закрити веб-ресурс від індексації, необхідно знати основні директиви robots.txt:
-
User-agent — визначає одного або групу роботів, які повинні дотримуватися прописаних вказівок;
-
Disallow — забороняє індексувати певні сторінки чи цілі директорії;
-
Allow — дозволяє індексувати сторінки чи директорії, щоб Ви могли точніше керувати доступом роботів до окремої інформації на сайті;
-
Sitemap — вказує шлях до файлу XML Sitemap (містить список усіх доступних сторінок), допомагаючи пошуковим роботам ефективніше індексувати веб-ресурс.
Спираючись на вищеописані директиви, ви можете без проблем закрити сайт від пошуку, використовуючи наступне поєднання вказівок:
User-agent: *
Disallow: /
У наведеному прикладі символ «*» після «User-agent» вказує, що директиви «Disallow» застосовуються до всіх роботів. А вказівка «Disallow: /» означає, що всі сторінки та директорії на веб-ресурсі заборонені для індексації.
У багатьох користувачів виникає питання, як приховати сайт від індексації, залишивши доступ до однієї пошукової системи. Для цього розглянемо наступний приклад:
User-agent: *
Disallow: /
User-agent: Google
Allow: /
У цьому випадку індексація буде доступна тільки для роботів Гугл. Ви можете вказати будь-яку іншу пошукову систему, поставивши її назву замість Google.
Ще одна корисна вказівка:
User-agent: *
Disallow: /
Allow: /$
Така директива дозволяє закрити інтернет-проєкт від індексації, залишивши доступною головну сторінку. Вона особливо корисна для нових веб-ресурсів, адже ви можете спокійно налаштовувати проєкт, при цьому пошукові системи дізнаються про його існування, відповідно він раніше почне набирати траст.
Читайте також: Як підвищити авторитет домена: перевірка та покращення показника DA
Як приховати сайт на час розробки на рівні сервера
Закриття сайту від індексації через robots.txt — найпоширеніший, але не стовідсотковий метод. Він тільки дає вказівки, а ось слідувати їм чи ні — вирішує конкретний пошуковий робот. У деяких випадках пошукові системи ігнорують заборони, індексуючи всі дані. Це трапляється рідко, але наражати на такий ризик молодий проєкт вкрай небажано.
Ми рекомендуємо додатково закривати дані від пошукових систем на рівні сервера. Для цього використовуйте файл .htaccess, який розміщений у кореневій директорії веб-ресурсу (якщо документ відсутній — створіть його). До нього потрібно додати наступний рядок:
Options -Indexes
Ви також можете додати до файлу спеціальний код, що забороняє сканування певним роботам. Наприклад розглянемо, як закрити сайт від пошуку Google. Додайте у файл .htaccess таку директиву:
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} UserAgentName [NC]
RewriteRule .* - [F,L]
Замість UserAgentName підставте ім’я бота — для гугла це Googlebot.
Комбінуючи два способи, ви отримаєте максимальний ефект: robots.txt забезпечить повне закриття сайту, а .htaccess — додатковий рівень безпеки. Єдиний недолік — доведеться самостійно редагувати важливі файли веб-ресурсу, тобто є хоч і мінімальний, але ризик його пошкодити.
Як приховати сайт на WordPress
А тепер розгляньмо алгоритм закриття даних для сайтів, розроблених на популярній CMS WordPress. Саму процедуру можна поділити на два етапи: закриття даних від пошукових роботів та встановлення заглушки для відвідувачів.
Як заборонити індексацію сайту на WordPress
Розробники відомої системи управління сайтами WordPress передбачили можливість сховати дані від краулерів, максимально спростивши процес.
У панелі керування перейдіть до розділу «Налаштування» — «Читання», виберіть пункт «Попросити пошукові системи не індексувати сайт» та натисніть «Зберегти зміни».
Система самостійно відредагує файл robots.txt, а вам залишиться не забувати зняти галочку перед запуском проєкту. Якщо використовуєте плагін Yoast SEO, то таке нагадування постійно з'являтиметься при вході в панель управління.
До речі, плагін Yoast SEO зручно використовувати для закриття окремих сторінок від індексації. Вам достатньо відкрити запис (сторінку) для редагування та знайти вкладку «Додатково». У пункті «Дозволити пошуковим системам показувати запис у результатах пошуку» виберіть «Ні». Також можна вказати, чи слід роботам стежити за посиланнями в цьому записі, а з випадаючого списку «Розширене налаштування Meta Robots» обрати пункт «не індексувати зображення».
Погодьтеся, набагато зручніше поставити одну галочку у загальних налаштуваннях, ніж самостійно редагувати файл robots.txt. Проблема тільки в тому, що далеко не всі системи керування дозволяють так само легко приховати дані від пошукових систем. Але тут Вам вже допоможе функціонал Cityhost, який ми розберемо далі, а поки що навчимося ставити інформативну заглушку на WordPress.
Читайте також: Як захистити сайт на WordPress і не стати жертвою вразливостей відкритого коду
Як закрити сайт на Wordpress від відвідувачів
Maintenance — один із найпопулярніших WordPress плагінів, що дозволяє легко встановити та налаштувати заглушку. Ви можете встановити фонове зображення, залишити повідомлення та контактні дані, завдяки чому вдасться не втратити потенційних клієнтів під час розробки сайту.
Для встановлення плагіна Maintenance зробіть таке:
-
На панелі керування перейдіть на вкладку «Плагіни».
-
Натисніть «Додати новий».
-
Натисніть встановити біля потрібного плагіна (перший за списком).
-
Активуйте розширення.
Тепер заглушка активна, залишається тільки її налаштувати на власний розсуд. Достатньо перейти у вкладку Maintenance, після чого змінити назву сторінки, заголовок, опис, текст у футері, додати логотип та фонове зображення, й навіть свій CSS код. До того ж ви можете встановити Google Analytics ID, отримуючи інформацію про відвідувачів під час розробки веб-ресурсу.
У плагіна є версія PRO, але безкоштовної цілком достатньо для базового налаштування основної сторінки.
Як приховати сайт на час розробки за допомогою інструментів Cityhost
Без хибної скромності скажемо, що Cityhost пропонує величезну кількість інструментів для роботи з сайтами. Наприклад, серед опцій панелі керування є можливість закрити сайт від краулерів дуже простими методами та встановити банер-заглушку на сам сайт.
Як закрити сайт від пошукових систем
За допомогою інструментів панелі керування можна легко заблокувати пошукових ботів по user-agent, не редагуючи код сайту.
-
Відкрийте панель cp.cityhost.ua та перейдіть в управління хостингом.
-
У налаштуваннях потрібного проєкту виберіть «Безпека».
-
Натисніть «Редагувати» навпроти пункту «Заблоковані User-Agents».
-
У новому вікні введіть список роботів пошукових систем, наприклад, GoogleBot, YandexBot, BingBot, SlurpBot (пошук Yahoo).
Також ви можете додати будь-який шкідливий бот, метою якого є збір статистики для третіх осіб, парсинг цін на товари та послуги, виявлення прихованих сторінок, вразливостей тощо. А деякі шкідливі боти взагалі створюють надмірне навантаження на веб-ресурс, знижуючи швидкість завантаження сторінок.
Як встановити банер-заглушку
На Cityhost можна так само легко закрити сайт від відвідувачів, встановивши банер-заглушку:
-
Увійдіть у панель керування сайтом на хостингу.
-
Натисніть «Редагувати» навпроти функції «Режим технічного обслуговування».
-
У списку виберіть «Увімкнути».
Ви можете відразу додати IP-адреси людей, яким дозволений доступ до веб-ресурсу. Це неймовірно корисна функція, якщо над проєктом працює відразу кілька людей, наприклад клієнт, тестувальник, контент-менеджер.
Як дізнатися, чи вдалося приховати сайт на час розробки
У статті ми описали ефективні способи закриття сайту на час розробки як від відвідувачів, так і від краулерів. Із заглушкою ніколи не виникає проблем, адже її можна миттєво встановити за допомогою плагіна або інструментів Cityhost. А для перевірки достатньо ввести адресу веб-ресурсу в пошуковий рядок та подивитися результат (рекомендуємо заходити через нову вкладку в режимі інкогніто).
Загальний процес закриття даних від пошукових роботів теж простий, але кінцевий результат залежить від краулерів. У деяких випадках вони можуть просто проігнорувати заборони, вирішивши проіндексувати веб-ресурс. Саме тому потрібно періодично перевіряти, чи вдалося закрити сайт від індексації, а зробити це можна за допомогою:
-
пошукового оператора — введіть в адресний рядок site:https:// + URL вашого ресурсу, після чого дивіться, які сторінки є у видачі;
-
пошукової консолі — процедура залежить від конкретної системи. Наприклад, перевірка майданчика у видачі Гугл відбувається через Google Search Console. Ви просто авторизуєтеся на сервісі, вибираєте «Перевірка URL» та вставляєте адресу веб-ресурсу;
-
розширення для браузера — використовуйте будь-який додаток для швидкого аналізу сайту. Наприклад, встановіть та активуйте RDS Bar, після чого перейдіть на проєкт та подивіться інформацію про нього.
Ідеальний результат: у видачі немає жодної сторінки вашого сайту! Але цей результат є ідеальним, звичайно ж, на час розробки проєкту. Як тільки він буде готовий, знову дозвольте пошуковим роботам аналізувати сторінки та відображати їх у видачі. Якщо ж знадобиться допомога у закритті веб-ресурсу або здійсненні інших налаштувань на нашій панелі керування, зверніться до служби підтримки Cityhost, і наші фахівці проведуть професійну консультацію.
Читайте також: Технічна підтримка Cityhost.ua — як це працює
Сподобалася стаття? Розкажіть про неї друзям: 
