Для управління індексацією сайту пошуковими системами можуть використовуватися файл robots.txt і sitemap. З їх допомогою ви можете передати в пошукову систему інформацію про сторінки свого сайту, заборонити або навпаки дозволити їм індексувати конкретні сторінки.
Крім цих варіантів, можна використовувати і спеціальний тег, який в залежності від специфіки може застосовуватися на різного роду сайтах. У статті ми розповімо про метатег robots, який може застосовуватися спільно з файлом robots.txt і дозволяє управляти індексацією як за шаблоном, так і індивідуально для кожної сторінки.
Що таке мета-тег robots
При всіх перевагах у файлу robots.txt є один недолік: він не може повністю прибрати з видачі вже проіндексовану сторінку. Тому навіть після вказівки в ньому сторінки, вона може бути знайдена, але при цьому службова інформація про неї (наприклад, description) буде відсутня. Замість цього користувачі побачать коментар «опис сторінки недоступний через обмеження у файлі в robots.txt». По факту файл зручний для початкового повного приховування сторінки, однак більш тонко налаштувати його не можна.
У той же час метатег robots якраз дозволяє здійснити більш гнучке налаштування індексації за рахунок вказання потрібних значень в полі content:
При цьому в першу чергу у метатегу визначається взагалі сама можливість індексування конкретної сторінки і тільки потім перераховуються правила для пошукових роботів стосовно дій з контентом на ній і інформацією.
Щоб його коректно прочитали пошукові роботи, в атрибуті content ("xxxxxxxxx") треба вказати одну або кілька директив:
- index/noindex – індексування дозволено/заборонено;
- follow/nofollow – індексація посилань, розміщених на сторінці, дозволена/заборонена;
- all/none – повна індексація всієї сторінки дозволена/заборонена;
- noimageindex – заборонено індексувати будь-які зображення, розміщені на сторінці;
- noarchive – заборонено показувати в пошуку посилання «Збережена копія», що дозволяють дивитися копію сторінки в кеші Google чи Яндексу;
- nosnippet – заборонено виводити в пошуковій видачі сніппет, що описує суть сторінки;
- noodp – команда, яка повідомляє боту Google, що йому не можна брати для сніппету інформацію з DMOZ-каталогу.
Як використовувати метатег robots
Значення follow/nofollow дозволяє переходити/не переходити по посиланнях. Index/noindex визначає можливість перевірки вмісту на сторінці. Загальний тег rel=nofollow може і зовсім закрити пошуковому роботу можливість сканування всіх наявних на сторінці посилань. Всі ці значення використовуються в різних комбінаціях для поліпшення процесу пошукової оптимізації.
Залежно від того, що потрібно (щоб робот індексував, але не переходив, або переходив по посиланнях без сканування контенту), можна задати по черзі різні значення. Зокрема, дозвіл на індексування з забороною переходу по посиланнях може бути необхідно у випадку з представництвами великого бренду. Кожен магазин має свою репутацію, яка не завжди ідеальна і відповідає просуваються принципам головного бізнесу. У таких випадках задається спеціальний метатег, в якому послідовно вказуються значення "index, nofollow". Таким чином, вкладка з представництвами буде доступна пошуковому роботу для сканування, однак по конкретним посиланням він пройти не зможе.
Метатег також зручний тим, що, застосовуючи його, можна акуратно налаштувати складну індексацію. Це виражається в закритті від пошукових роботів одних посилань і прописуванні сценаріїв дій для інших. Крім вищевказаних прикладів тегів, є й інші значення, що дозволяють тим або іншим чином роботу взаємодіяти з контентом сторінки.
У чому відмінність мета-тега robots від файлу robots.txt
На відміну від файлу robots.txt, тег meta robots є більш актуальним в плані використання для програмування сценаріїв дій пошукових систем з посиланнями. Там, де перший діє більш просто і зачіпає всю сторінку цілком, другий дає можливість окремо закрити її частини, налаштувати певну логіку дій. При цьому можна попрацювати окремо над кожним об'єктом або налаштувати шаблони для пакетів сторінок.
При цьому в разі, якщо сторінка закрита відразу через метатег і файл, пошукова система автоматично буде сприймати правила саме останнього, як основного. З цієї причини при необхідності відкриття індексування тегом важливо перевірити, щоб у файлі сторінка теж була доступна для індексації. Тоді робот правильно виконає поставлене сценарій.
Публікація була пізнавальною? Тоді поділіться нею в соціальних мережах і додавайтеся в наш Telegram канал. Нагадаємо, що замовити дешевий хостинг ви можете у хостинг-компанії CityHost. З технічних питань звертайтесь до онлайн чату або по телефону ☎️ 0 800 219 220.
Сподобалася стаття? Розкажіть про неї друзям: 
