Появление дубликатов веб-страниц на сайте — проблема, которая сводит на нет силы, брошенные на поисковую оптимизацию. Она часто становится причиной резкого падения позиций в выдаче поисковиков и уменьшения числа посетителей. А это снижает заработок, который получает владелец интернет-магазина, блога или онлайн-портала.
Другое последствие появления дублей — выпадение страниц из выдачи Гугла. В таком случае посетители могут никогда не увидеть категории, карточки товаров, либо полезные статьи, на которые делалась высочайшая ставка.
Как вы уже поняли, дубликаты — это проблема, появление которое нельзя допускать на сайтах. В предыдущей статье блога Cityhost мы рассказали о том, как найти дубли, а сегодня вы узнаете, как устранить дубликаты страниц и не допустить их появления в будущем.
С чего начать устранение дублей страниц на сайте
Первое, что необходимо сделать, перед тем как удалить дубликаты веб-страниц — найти причину этой проблемы.
Одной из наиболее распространенных причин являются проблемы CMS. Популярные движки разработаны так, чтобы упростить процедуру создания сайта сразу после того, как выполнена аренда хостинга и регистрация домена. Проще говоря, даже технически неподкованные пользователи легко создают блог или интернет-магазин на WordPress, Joomla или OpenCart за 15–30 минут. Однако часто решения «с коробки» несовершенны и могут становиться причиной появления самых разных проблем на сайте, включая дублированный контент на сайте.
Еще одной причиной являются неправильные настройки фильтров и поиска. Если в категориях интернет-магазина установлены фильтры, есть вероятность того, что веб-пауки проиндексируют страницы с отфильтрованными результатами. Их содержимое, даже при выборе разных групп фильтров, может быть идентичным, в результате чего генерируется множество дублей. Та же история и с внутренним поиском веб-ресурса: сгенерированные страницы результатов могут быть одинаковыми для похожих запросов. И в таком случае, убрать дубли страниц сайта необходимо поскорее.
Последней, но не менее важной причиной, являются ошибки и недочеты в структуре. Представим ситуацию: вебмастер, который занимается поддержкой интернет-магазина женской обуви, решил создать отдельные категории для групп товаров с одинаковым размером. Но не учел, что Модель №1, Модель №2 и Модель №3 представлены сразу в трех размерах: 36, 37 и 38. В результате каждая из этих моделей попадает в категории «Обувь 36 размера», «Обувь 37 размера» и «Обувь 38 размера», и на сайте появляется три идентичных по содержимому раздела, которые отличаются только заголовками и мета-тегами.
Как устранить дубли страниц на сайте
Если причина появления дубликатов на сайте определена, пора устранить эту проблему. Есть шесть способов сделать это.
Укажите каноническую (оригинальную) страницу. Для этого поместите в раздел < head >...< /head > дублей следующий код:
<link rel="canonical" href="https://example.com/canonical-page" />
Только замените указанный URL на URL оригинальной (канонической) страницы.
Обратите внимание! Этим способом вы не удалите дубли на сайте, однако сообщите веб-паукам, что индексировать необходимо только указанную в коде веб-страницу, а ее копии — игнорировать.
Удалите дубликаты вручную. Если количество страниц блога или интернет-магазина не превышает 200 штук, можна пересмотреть каждую из них и определить, есть ли дубли.
Запретите сканировать дубликаты в robots.txt. Для этого используйте инструкцию Disallow. Например, если дубль находится по адресу https://example.com/pagecopy/, для ее скрытия добавьте в robots.txt следующий код:
User-agent: *
Disallow: /pagecopy
Выполните 301 редирект с дубликата на оригинальную страницу. Для этого добавьте в файл .htaccess, который лежит в корневой директории сайта, такую строчку:
Redirect 301 /pagecopy https://example.com/originalpage
В этом примере: /pagecopy — условный адрес дубликата, https://example.com/originalpage — полный адрес канонической страницы.
Если выполнили проверку сайта на дубли и нашли соответствующие страницы, попробуйте закрыть их от индексирования мета-тегом noindex. Как и другие мета-теги сайта, его необходимо добавить в раздел < head > ... < /head > сайта:
<meta name="robots" content="noindex">
Удалите дубли страницы, выполнив 410 редирект. Это перенаправление уведомляет веб-пауков о том, что страницы нет и информация об ее альтернативе не предоставлена. Для установки 410 редиректа пропишите в файле .htaccess следующее:
Redirect 410 /pagecopy
В данном примере: /pagecopy — относительный адрес дубликата.
Теперь вы знаете, как провести поиск дублей страниц онлайн и как их убрать, что поможет без проблем поднять техническую оптимизацию сайта на новый уровень, привлечь большее число посетителей и влюбить в онлайн-ресурс поисковых роботов.
Публикация была познавательной? Тогда поделитесь ею в социальных сетях и добавляйтесь в наш Telegram канал. Напомним, что купить украинский хостинг вы можете у Cityhost. По техническим вопросам обращайтесь в онлайн чат или по телефону ☎️ 0 800 219 220.
Понравилась статья? Расскажите о ней друзьям: 
