Google и дублированный контент

Дублированный контент – горячая тема для обсуждения среди вебмастеров, главным образом потому, что многие не понимают, есть санкции от Google за дублированный контент или нет. В этой статье попытаемся разобраться в этом вопросе.



Что такое дублированный контент

Дублированным контентом, как правило, называют блоки текста в пределах или за пределами домена, которые либо полностью соответствуют другим блокам текста, либо слишком на них похожи. Примеры безвредного дублированного контента:

1. Форумы, которые имеют версии для мобильного телефона.
2. Страницы, предназначенные только для распечатки (раньше подобная фишка встречалась на всех DLE-сайтах).
3. Одинаковый контент, расположенный на разных URL-адресах.

Чаще всего, подобные дубли не несут ничего плохого, а лишь улучшают навигацию по сайту, предлагая пользователю конкретные, схожие по тематике материалы.

Почему дублированный контент это плохо?

Предположим, вы хотите выбрать лучший рецепт для пирога, который бы вы хотели приготовить воскресным днем. Были бы вы довольны, если бы на первых десяти сайтах в выдаче были абсолютно одинаковые рецепты? Пользователи не любят одинаковые результаты в выдаче, именно по этому Google и не выводит одинаковый контент.

Типы дублированного контента

Дублирование в пределах одного домена, когда контент, чаще всего непреднамеренно, дублируется на самом сайте. Наиболее распространенные случаи – категории, архивы, теги.
Дублирование контента за пределами домена. Это когда одинаковый контент находится на разных сайтах. Наиболее частая причина, это когда один сайт копирует тексты у другого.

Давайте изучим каждый из этих типов дублей и разберемся, что же Google конкретно думает по поводу этого.

Дублирование в пределах одного домена

Абсолютно ничего плохого в том, что пределах одного домена есть дублированный контент нет. Когда гугл находит на сайте дублированный контент, вот что происходит – он просто выбирает наиболее релевантный документ для текущего пользовательского запроса и выдает ему ссылку на него. Тут есть один момент – крайне важно, чтобы со страниц, на которых есть дубли контента, были ссылки на оригинальную статью, на источник этих дублей (на всех современных CMS это уже реализовано).

Вот что говорит Мэтт Каттс поэтому поводу:

Поскольку трудно определить, кто пишет свои новости, а кто копирует их, я бы рекомендовал вам следующее: 1) избегайте чрезмерного дублирования контента в пределах одного домена и 2) если вы дублируете контент, убедитесь, что со страницы-дубля есть ссылка на оригинальный материал. Это поможет обеспечить большим весом страницу с оригинальным содержанием, тем самым она будет иметь преимущество при формировании выдачи.

Преднамеренное дублирование контента

Раньше было очень модно создать сайт из страниц 100, потом добавить несколько десятков категорий и несколько сотен тегов, для того, чтобы увеличить количество страниц в индексе, тем самым получить больше мест для продажи ссылок с бирж или получить больше трафика с поисковых систем. Такие сайты засоряли поиск некачественными материалами, поэтому Google начал с ними бороться.

В редких случаях, когда Google считает, что контент в пределах сайта дублируется с целью манипуляции поисковой выдачей и введением пользователей в заблуждение, поисковый гигант может сделать соответствующие изменения в индексации и ранжировании подобных сайтов. В результате этого, позиции сайта могут значительно понизиться, а сам сайт может быть польностью удален из индекса по причине бесполезности для пользователей.

Дублирование контента за пределами домена

Копировать контент с других сайтов на данном этапе развития поисковых систем крайне не рекомендуется. Дело в том, что в сайтах, которые копируют контент нет смысла, они по своей природе бесполезны. Зачем показывать в поиске информацию, которая там уже давно есть? Гораздо разумнее во всех отношениях писать свой, оригинальный контент, который с 99% вероятностью появится в индексе и будет приносить вам трафик.

Часто на форумах можно увидеть сообщения – сделал варезник, все нормально индексировался, но потом я решил добавить теги и сайт полностью выпал из индекса. Я скажу больше, как он вообще в индексе оказался? Не встречал ни одного варезника, на котором бы был оригинальный контент. Это первое. Второе, у всех у них стандартная навигация – категории, теги, архивы. Скопировали новость с одного сайта, мало того, что она появилась на другом сайте, так еще и продублировалась 4 раза на одном домене. Так кому, скажите, это дерьмо в выдаче нужно?

Подобные сайты выпадают не из-за тегов, категорий или еще чего-то, а из-за своей бесполезности для пользователей. Делайте качественные сайты.

Как исправить ситуацию

С помощью этих простых действий можно свести к минимуму проблемы дублированного контента:

1. Поисковики могут случайно посчитать следующие адреса разными: www.webmasters.ru, webmasters.ru, webmasters.ru/index.html, хоть мы и понимаем, что это одна и та же странница. Выберите наиболее подходящий вариант и придерживайтесь его. Пропишите в robots.txt следующую строку:
   
   Код HTML:

   Host: webmasters.ru

   если хотите, чтобы в поиске сайт отображался именно в таком виде.
2. Внутреннюю перелинковку также делайте по одному шаблону. Не нужно ставить ссылки и на /страницу/ и на /страницу и на /страницу/index.html. Выберите 1 вариант и делайте перелинковку по этому шаблону.
3. В Sitemap включите выбранные виды URL-адресов.
4. Пользуйтесь 301 редиректом. Если вы изменили структуру URL-адресов, к примеру, прописали ЧПУ, то воспользуйтесь 301 редиректом в файле .htaccess.
5. Не отдавайте на страницу тегов, категорий, архивов и на главную страницу полный текста статей. Скрывайте бОльшую часть с помощью тега <--more--> (это для wordpress). Я всегда на главную и все другие страницы вывожу только анонс поста.

Надеюсь, эта информация была вам полезна и у вас более не возникнет вопросов по поводу дублированного контента. Если же какие-то вопросы остались – пишите в комментариях, разберемся со всеми проблемами.