[skryptman]

Заметил такую ситуацию на множестве крупных сайтов и не очень где есть куча тегов что яндекс их не индексирует. К примеру тот же хабр в яндексе меньше 100 000 страниц хотя в гугле более миллиона с тегами. Скажите это что типо фильтры какие-то или что-то типо того?

[dmg.shark]

Ну, начнем с того, что вы сравниваете очень общее. Само понятие "тег", по сути, ничем не отличается от той же категории/рубрики, только это еще один способ группировать статьи/другой материал.

Что Яндекс, что Google эти теги индексирует и закрывать их от индексации, лично я, не рекомендую, поскольку по ним можно получить много хорошего трафика (то есть во многих случаях, когда вы продвигаете сайт по НЧ запросам - вы пишете статьи под этим НЧ запросы, вместо того, чтобы правильно оформить шаблон страницы тегов и не использовать ее в качестве старпоинта для получения трафика).

С другой стороны, если использовать без смысла эти теги-метки, то получится очень огромная масса, так называемых, автогенерируемых страниц, что неприемлемо по политике поиска Яндекса (разумеется и Google тоже).

Поэтому, есть очень много пострадавших, у которых остался осадок от использования тегов, после чего они стали рекомендовать закрывать их от индексации, что не правильно. Если разобраться в корне проблемы, то виноваты вовсе не теги, а автор этих тегов, который лепил их куда попало и как попало. А в результате он получил большое количество страниц тегов, на которых выводились по 1 статье, очень много по 2 статьи и много по 3 статьи, что не представляло никакого интереса, как пользователю, так и поисковой системе соответственно.

Я считаю, что поскольку Хабрахабр - это UGC портал, то контролировать и модерировать теги-метки сложно, по крайней мере придется выбирать: либо пользователя ограничить в тегах, либо запретить их индексацию. Если посмотреть на robots.txt Хабрахабра, то там нет ничего запрещающего индексацию их тегов, которые находятся с префиксом /tag/ в URL и стало быть разумным заглянуть и всячески проверить индексацию тегов.

Обнаружилось, что Яндекс, все же, индексирует теги Хабрахабра http://habrahabr.ru/robots.txt, по сути это и не странно. Хотя очень много тегов прошли мимо поисковой базы портала.

Мораль: теги нужно использовать грамотно, поскольку толку от них никакого не будет.

[b00mer]

dmg.shark,

спасибо огромное, приятно послушать умного человека, только на днях на одном из сеоблогов читал, как сделать ноуфоллоу для тэгов и рубрик и закрыть их в роботс, получается, что лучше не делать этого?!

[dmg.shark]

получается, что лучше не делать этого?!

Такого рода вопросы каждый решает сам для себя и все зависит от положения сайта. Если вы сочтете нужным - закрывайте, если нет - не закрывайте. Я не могу ответственно сказать, что делать нужно в вашем случае, поскольку я не знаю, что у вас за ресурс и как вы будете распоряжаться своими тегами. Но я ответственно заявляю, что ни на одном своем ресурсе я никогда не закрывал метки (только для тестов разве что) и я всем доволен.

Давненько я писал статью в блог об этом, точнее сказать, о еще +1 причине оставить их открытыми (там приводится во внимание Google), но нужно при этом понимать, что в этом плане, Яндекс от Google не сильно отличается.

Вывод: если подходить к вопросу меток с умом, то закрывать их не нужно.

[sasha0808]

в роботсе запрещаешь и все. а так яндекс тоже все индексирует.

[asmakovec2]

b00mer,

Страницы с тегами нужно закрывать от индексации - это дубли страниц.

[dmg.shark]

Страницы с тегами нужно закрывать от индексации - это дубли страниц.

вы тему вообще читали?
поясните, что на странице тега дублируется?

[PAOK]

Если разобраться в корне проблемы, то виноваты вовсе не теги, а автор этих тегов, который лепил их куда попало и как попало. А в результате он получил большое количество страниц тегов, на которых выводились по 1 статье, очень много по 2 статьи и много по 3 статьи, что не представляло никакого интереса, как пользователю, так и поисковой системе соответственно.

dmg.shark, поясните пожалуйста этот кусок, что-то я не догнал) Вы имеете ввиду, что если на 1 тег выводится по 1,2 или 3 статьи это мало и велика вероятность негативных последствий?

[redapp]

Собственно большинство сайтов сейчас закрывает тэги от индексации - поэтому их и не видно по яндексу, а вот гугл отличается умением не обращать особого внимания на robots.txt и индексирует вобще всё подряд (просто не показывает в основной выдаче).

[dmg.shark]

dmg.shark, поясните пожалуйста этот кусок, что-то я не догнал) Вы имеете ввиду, что если на 1 тег выводится по 1,2 или 3 статьи это мало и велика вероятность негативных последствий?

именно это я и имел в виду :) метки - эти те же категории, только, как бы, другого класса :) то есть вы можете группировать материал сайта одновременно по меткам и категориям.

К примеру, взять грамотно отстроенный автомобильный портал (по продаже тачек). То у вас есть возможность отсортировать автомобили по марке - это пусть будет категория audi, а помимо этого у вас должна быть возможность выбора города, где продается этот автомобиль, к примеру, город Одесса. В этом случае, как я уже сказал, Audi - это категория, Одесса - метка. И не важно, как оно будет называться, главное, что функцию выполняет одну и ту же.

Далее, если у вас продаются тысячи автомобилей Audi, но всего лишь одна из них в Одессе, то у вас будет страница, на которой будет выводиться только один анонс объявления о продаже автомобиля в Одессе, что для поисковой системы не очень хорошо, потому что получается действительно дубль, поскольку эта информация есть, как на странице категории Audi, как на самой странице объявлений, так и конкретной странице Одессы.

Но фишка не в самих не уникальных символах, а в уникальности их расположения, что для пользователя несет новый смысл, как и для поисковой системы. Отсюда выплывает и страница для продвижения и ее явная необходимость.

А если посмотреть на существующую блогосферу, где "лишь бы что-то сделать", то можно заметить очень много случаев, когда метки пишутся вплоть до таких как "интернет", "тут", "штука" и т.д., которые, я думаю, что для пользователя, а тем более для поисковой машины абсолютно не интересны.

Повторюсь, что если делать правильно, то ничего закрывать не нужно и можно будет только извлекать из этого пользу. А если делать, чтобы делать и было, то лучше, конечно, закрыть.

Удачного всем "меткостроительства" и продвижения сайтов :)