Появление дубликатов веб-страниц на сайте – проблема, которая сводит на нет силы, брошенные на поисковую оптимизацию. Она часто становится причиной резкого падения позиций в выдаче поисковиков и уменьшения числа посетителей. А это снижает заработок, который получает владелец интернет-магазина, блога или онлайн-портала.
Другое последствие появления дублей – выпадение страниц из выдачи Гугла и Яндекса. В таком случае посетители могут никогда не увидеть категории, карточки товаров, либо полезные статьи, на которые делалась высочайшая ставка.
Как вы уже поняли, дубликаты – это проблема, появление которое нельзя допускать на сайтах. В предыдущей статье блога СитиХост мы рассказали о том, как найти дубли, а сегодня вы узнаете, как устранить дубликаты страниц и не допустить их появления в будущем.
С чего начать устранение дублей страниц на сайте
Первое, что необходимо сделать, перед тем как удалить дубликаты веб-страниц – найти причину этой проблемы. В большинстве случаев, это:
- Недоработки CMS. Популярные движки разработаны так, чтобы упростить процедуру создания сайта сразу после того, как выполнена аренда хостинга и регистрация домена. Проще говоря, даже технически неподкованные пользователи легко создают блог или интернет-магазин на WordPress, Joomla! или OpenCart за 15–30 минут. Однако, часто настройки «с коробки» несовершенны и могут становиться причиной появления самых разных проблем на сайте. В том числе, и дубликатов.
- Неправильные настройки фильтров и поиска. Если в категориях интернет-магазина установлены фильтры, есть вероятность того, что веб-пауки проиндексируют страницы с отфильтрованными результатами. Их содержимое, даже при выборе разных групп фильтров, может быть идентичным, в результате чего генерируется множество дублей. Та же история и с внутренним поиском сайта. Сгенерированные страницы результатов могут быть одинаковыми для похожих запросов. И в таком случае, убрать дубли страниц сайта необходимо поскорее.
- Ошибки и недочеты в структуре. Представим ситуацию: вебмастер, который занимается поддержкой интернет-магазина женской обуви, решил создать отдельные категории для групп товаров с одинаковым размером. Но не учел, что Модель №1, Модель №2 и Модель №3 представлены сразу в трех размерах: 36, 37 и 38. В результате каждая из этих моделей попадает в категории «Обувь 36 размера», «Обувь 37 размера» и «Обувь 38 размера» и на сайте появляется три идентичных по содержимому раздела, которые отличаются только заголовками и метатегами.
Как устранить дубли страниц на сайте
Если причина появления дубликатов на сайте определена, пора устранить эту проблему. Есть шесть способов сделать это.
Укажите каноническую (оригинальную) страницу. Для этого поместите в раздел < head >...< /head > дублей следующий код:
< link rel=” canonical ” href= ” https://example.com/canonical-page ” / >,
заменив указанный URL на URL оригинальной (канонической) страницы.
Обратите внимание! Этим способом вы не удалите дубли на сайте, однако сообщите веб-паукам, что индексировать необходимо только указанную в коде веб-страницу, а её копии – игнорировать.
Удалите дубликаты вручную. Если количество страниц блога или интернет-магазина не превышает 200 штук, реально пересмотреть каждую из них и определить, есть ли дубли.
Запретите сканировать дубликаты в robots.txt. Для этого используйте инструкцию Disallow. Например, если дубль находится по адресу https://example.com/pagecopy/, для её скрытия добавьте в robots.txt следующий код:
User-agent: *
Disallow: /pagecopy
Выполните 301 редирект с дубликата на оригинальную страницу. Сделать это легко – добавьте в файл .htaccess, который лежит в корневой директории сайта, такую строчку: Redirect 301 /pagecopy https://example.com/originalpage.
В этом примере, /pagecopy – условный адрес дубликата, https://example.com/originalpage – полный адрес канонической страницы.
Закройте дубль от индексирования метатегом noindex. Как и другие метатеги сайта, его необходимо добавить в раздел < head > ... < /head > сайта:
< meta name = ” robots ” conten t= ” noindex ” >
Удалите дубли страницы, выполнив 410 редирект. Это перенаправление уведомляет веб-пауков о том, что страницы нет и информация об ее альтернативе не предоставлена. Для установки 410 редиректа пропишите в файле .htaccess следующее:
Redirect 410 /pagecopy.
В данном примере, /pagecopy – относительный адрес дубликата.
Теперь вы знаете как убрать дубликаты страниц, и без проблем поднимете техническую оптимизацию сайта на новый уровень, привлечете большее число посетителей и влюбите в онлайн-ресурс поисковых роботов.
Публикация была познавательной? Тогда поделитесь ею в социальных сетях и добавляйтесь в наш Telegram канал. Напомним, что купить украинский хостинг вы можете у хостинг-компания CityHost. По техническим вопросам обращайтесь в онлайн чат или по телефону ☎️ 0 800 219 220.
Понравилась статья? Расскажите о ней друзьям: 
