[berida]

Нашёл на этом форуме тему по созданию правильного robots.txt и категории запрещались там таким образом:
Disallow: /category/*/
В результате гугл проиндексировал категории... Проводил анализ robots.txt в яндекс и давал ссылку на категорию, он говорил что запрещена. Однако проверил сейчас, ссылка такого вида mysite/category/osveshenie/ действительно запрещена, а вот такого mysite/category/osveshenie уже нет, может в этом и проблема? Он так же проиндексировал страницу которая была Disallow: /mypage/ , сейчас изменил на Disallow: /mypage , хорошо что хоть эта страница в дополнительном индексе, а не в основном

[genjnat]

А для чего вы вообще категории запрещаете?
Внутренний вес у них по определению выше чем у страниц, соответственно и запросы в категориях продвигать легче. В них же (в категориях) ваши основные ВЧ-СЧ.
Их не закрывать, а оптимизировать и продвигать нужно.
Пагинацию по ним – да, нужно закрыть - Disallow: */page

[berida]

А для чего вы вообще категории запрещаете? Внутренний вес у них по определению выше чем у страниц, соответственно и запросы в категориях продвигать легче. В них же (в категориях) ваши основные ВЧ-СЧ.

Я работаю по схеме НЧ. Ссылки на категории у меня есть только с карты сайта и главной. Поэтому веса у них не будет всё равно. Оставить их можно, вроде как не мешают. Запутали меня походу.

А Disallow: /category/*/ или пагинацию?

[genjnat]

Да я ошибся - они у вас и не закрыты - закрыта пагинация, но кстати только по категориям, на главной (если она там есть) Disallow: /category/*/ пагинацию не скрывает, так что по любому можете его заменить на Disallow: */page.
Если хотите запретить категории, то Disallow: /category
Но это при условии что "category" нет в URL постов.

Если покажете сайт то будет проще

[pyramida]

Пагинацию по ним – да, нужно закрыть - Disallow: */page

Для чего закрывать? Что-бы бот ничего о ссылках на статьи незнал? Я понимаю, что они(статьи например) могут быть в сайтмапе, но это кощунство :)

[Septik]

pyramida, бот проходит по ссылкам, но не индексирует их. То есть статьи будет индексировать. (Поправьте, если ошибаюсь)

[pyramida]

Septik, по каким ссылкам бот пройдет, если Вы промежуточные страницы, на которых ссылка на конечную страницу, закрываете? Разница между ботом яши и гугла в том, что бот гугла если видит закрытую страницу в роботс перестает ее сканировать. Тоесть
сайт/категория/конечная_страница
если закрыть "/категория/" то бот никак не попадет на "конечная_страница" только разве если есть она в сайтмапе. Если закрыть пагинацию(постаничную навигацию) откуда он узнает о "конечная_страница"? Точнее всех коненых страниц. Он не получит ссылки на них с "/категория/".

[genjnat]

pyramida,
для Яндекса в панели ЯВМ - посмотрите число загруженных страниц и участвующих в поиске, и исключенных из него - а также какие именно он исключил.
Для гугла - вбейте в поиск site:ваш-сайт.ру, пролистайте до конца и нажмите на "Показать скрытые результаты.", вы увидите все что запрещали к индексации

Т.е. - обе ПС ходят по закрытым страницам, точно так же как и по открытым.
А пагинация это бесполезные для поиска страницы, с идентичными тайтлами, метатегами, заголовками и в индексе им делать нечего.

[pyramida]

genjnat, Вы не правы. Вы пытаетесь сказать о частичном дублировании контента? Пруф прекрасно выдаются разделы статей. Можно еще поискать но лень :)

[genjnat]

pyramida, я пытаюсь сказать, что все страницы пагинации, на главной к примеру - 2,3,4,5, имеют тот же тайтл, дескрипшен, заголовок что и стартовая.
То же касается разделов или категорий. На некоторых сайтах, число страниц пагинации может доходить до 30-50% от общего числа, по сути, все это дубли не имеющие самостоятельного контента и не представляющие пользы для поисковой выдачи.
И чем больше (в процентном отношении) таких страниц отдает ваш сайт, тем хуже отношение ПС.
Гугл, сам запихивает их под вкладку "Показать скрытые результаты." (без всяких запретов с вашей стороны), Яндекс вообще может ограничить в индексации

Т.е. - да, их нужно закрывать. И на индексации сайта это может сказаться только положительно.
Собственно, это основы оптимизации и странно что такие вещи приходится объяснять на СЕО форуме.
А что вы мне за пруф дали, я не понял – да если разделы не запрещать то они индексируются и участвуют в поиске…