Поява дублікатів веб-сторінок на сайті — проблема, яка зводить нанівець сили, кинуті на пошукову оптимізацію. Вона часто стає причиною різкого падіння позицій у видачі пошукових систем і зменшення числа відвідувачів. А це знижує заробіток, який отримує власник інтернет-магазину, блогу або онлайн-порталу.
Інший наслідок появи дублів — випадання сторінок із видачі Гугла. У такому випадку відвідувачі можуть ніколи не побачити категорії, картки товарів або корисні статті, на які робилася найвища ставка.
Як ви вже зрозуміли, дублікати — це проблема, появи якої не можна допускати на сайтах. У попередній статті блогу Cityhost ми розповіли про те, як знайти дублі, а сьогодні ви дізнаєтеся, як усунути дублікати сторінок і не допустити їхньої появи в майбутньому.
З чого почати усунення дублів сторінок на сайті
Перше, що необхідно зробити, перед тим як видалити дублікати веб-сторінок — знайти причину цієї проблеми.
Однією з найпоширеніших причин є проблеми CMS. Популярні движки розроблені так, щоби спростити процедуру створення сайту відразу після того, як виконана оренда хостингу й реєстрація домену. Простіше кажучи, навіть технічно непідковані користувачі можуть легко створити блог або інтернет-магазин на WordPress, Joomla чи OpenCart за 15–30 хвилин. Однак, часто рішення «з коробки» недосконалі й можуть ставати причиною появи найрізноманітніших проблем на сайті, враховуючи дубльований контент.
Ще однією причиною є неправильні налаштування фільтрів і пошуку. Якщо в категоріях інтернет-магазину встановлені фільтри, є ймовірність того, що веб-павуки проіндексують сторінки з відфільтрованими результатами. Їхній вміст, навіть у разі вибору різних груп фільтрів, може бути ідентичним, у результаті чого генерується безліч дублів. Та ж історія і з внутрішнім пошуком веб-ресурсу: згенеровані сторінки результатів можуть бути однаковими для схожих запитів. І в такому випадку прибрати дублі сторінок сайту необхідно якнайшвидше.
Останньою, але не менш важливою, причиною є помилки й недоліки в структурі. Уявімо ситуацію: веб-майстер, який займається підтримкою інтернет-магазину жіночого взуття, вирішив створити окремі категорії для груп товарів з однаковим розміром. Але не врахував, що Модель № 1, Модель № 2 і Модель № 3 представлені відразу в трьох розмірах: 36, 37 і 38. У результаті кожна з цих моделей потрапляє в категорії «Взуття 36 розміру», «Взуття 37 розміру» та «Взуття 38 розміру», й на сайті з’являється три ідентичних за вмістом розділи, які відрізняються тільки заголовками й мета-тегами.
Як усунути дублі сторінок на сайті
Якщо причина появи дублікатів сторінок на сайті визначена, тоді час усунути цю проблему. Є шість способів зробити це.
Вкажіть канонічну (оригінальну) сторінку. Для цього помістіть у розділ < head >…< /head > дублів такий код:
<link rel="canonical" href="https://example.com/canonical-page" />
Тільки замініть вказане посилання на URL оригінальної (канонічної) сторінки.
Зверніть увагу! Цим способом ви не видалите дублі на сайті, проте повідомите веб-павуків, що індексувати необхідно тільки зазначену в коді веб-сторінку, а її копії — ігнорувати.
Видаліть дублікати вручну. Якщо кількість сторінок блогу або інтернет-магазину не перевищує 200 штук, можна переглянути кожну з них і визначити, чи є дублі.
Забороніть сканувати дублікати в robots.txt. Для цього використовуйте інструкцію Disallow. Наприклад, якщо дубль розташований за адресою https://example.com/pagecopy/, для її приховування додайте в robots.txt такий код:
User-agent: *
Disallow: /pagecopy
Виконайте 301 редирект із дубліката на оригінальну сторінку. Для цього додайте у файл .htaccess, який лежить у кореневій директорії сайту, такий рядок:
Redirect 301 /pagecopy https://example.com/originalpage
У цьому прикладі: /pagecopy — умовна адреса дубліката, https://example.com/originalpage — повна адреса канонічної сторінки.
Якщо виконали перевірку сайту на дублі та знайшли відповідні сторінки, тоді спробуйте закрити їх від індексування мета-тегом noindex. Як і інші мета-теги сайту, його необхідно додати в розділ < head > … < /head >:
<meta name="robots" content="noindex">
Видаліть дублі сторінки за допомогою 410 редиректу. Це перенаправлення повідомляє веб-павуків про те, що сторінки немає й інформація про її альтернативи відсутня. Для установки 410 редиректу пропишіть у файлі .htaccess:
Redirect 410 /pagecopy
У даному прикладі: /pagecopy — відносний адреса дубліката.
Тепер ви знаєте як провести пошук дублів сторінок онлайн та як їх прибрати, що допоможе без проблем підняти технічну оптимізацію сайту на новий рівень, залучити більше число відвідувачів та закохати в онлайн-ресурс пошукових роботів.
Публікація була пізнавальною? Тоді поділіться нею в соціальних мережах і додавайтеся в наш Telegram канал. Нагадаємо, що купити український хостинг ви можете у Cityhost. З технічних питань звертайтесь до онлайн чату або по телефону ☎️ 0 800 219 220.
Сподобалася стаття? Розкажіть про неї друзям: 
