[pyramida]

Собственно, это основы оптимизации и странно что такие вещи приходится объяснять на СЕО форуме.

Вот именно :)
Берем страницу розетки и смотрим как организованны страницы пагинации. Они не закрыты в роботс наверно потому что ребята знают какие страницы отдавать в индекс. "Скрыть похожие результаты" это не из оперы похожих титлов,а из оперы похожее содержание страницы. Выдача строится из контента страницы,а не ее титлов. В сообщении намбер 7 я отписал все.

[berida]

Берем страницу розетки и смотрим как организованны страницы пагинации.

Никогда не смотретите на сео-оптимизацию крупных магазинов, её там просто нету. Они выдвигаются в топ, вкладывая большие деньги в рекламу...

[genjnat]

pyramida, при всем уважении - вы сейчас полнейшую ерунду говорите, и вводите в заблуждение новичков.
Попробую объяснить на пальцах.
Представьте себе стандартный ВП сайт (не важно - можно и джумлу или ДЛЕ), с 500 постами, и классической схемой - Главная>раздел>категория-страница.
И допустим он выводит по 5 постов на странице.
Теперь давайте прикинем сколько будет страниц пагинации.
Через главную проходят посты из всех разделов и категорий, т.е. - 500 разделить на 5 = 100
Предположим что на сайте 5 разделов и 25 категорий, в каждом разделе по 100 постов, разделить на 5 = 20. 20х на 5 разделов получается еще 100 страниц
В каждой категории по 20 постов, т.е. по 5 страниц пагинации, а их 25 шт, т.е. - еще 100 страниц.
И того, на 500 постов (т.е. страниц с полезным для выдачи контентом) - 300 страниц пагинации (т.е. бесполезных страниц), что мягко говоря - понижает общую оценку качества сайта.
Яндекс за это наказывает однозначно, гугл относится спокойней, но тоже по головке не гладит (вспоминаем с какой целью был запущен алгоритм Панда).

Берем страницу розетки

Никогда не нужно брать пример, с больших социально значимых сайтов, уровень их траста позволяет им и все что заблагорассудится, они вообще могут ложить с прибором на оптимизацию, и без каких либо последствий.

Выдача строится из контента страницы

А на страницах пагинации и нет самостоятельного контента, там только привьюшки постов.

[Pirat]

По поводу вопроса о теме. В первую очередь конечно вам в помощь h**p://help.yandex.ru/webmaster/?id=996567
Чтобы вам не искать, скопировал с яндекса сюда:

Спецсимвол '$'

По умолчанию к концу каждого правила, описанного в robots.txt, приписывается '*', например:

User-agent: Yandex
Disallow: /cgi-bin* # блокирует доступ к страницам
# начинающимся с '/cgi-bin'
Disallow: /cgi-bin # то же самое

Чтобы отменить '*' на конце правила, можно использовать спецсимвол '$', например:

User-agent: Yandex
Disallow: /example$ # запрещает '/example',
# но не запрещает '/example.html'

User-agent: Yandex
Disallow: /example # запрещает и '/example',
# и '/example.html'

User-agent: Yandex
Disallow: /example$ # запрещает только '/example'
Disallow: /example*$ # так же, как 'Disallow: /example'
#запрещает и /example.html и /example

[pyramida]

genjnat, также при все уважении к Вам. Ваш пример применим в статейном продвижении к "тегам" и к страницам поиска на сайте, так как они действительно дублируют основные страницы сайта, конкретно пагинацию которая является частью навигации сайта. Я Вам привел пример, где страница с категории анонсов статей есть в индексе. По Вашему ПС должна была бы выгнать эти страницы из индекса, а они есть и находятся. Переходы на скрытые страницы боты действительно делают и не просто так. Они смотрят, что скрыли на страницах и не будет ли проблем у пользователя если они зайдут. И это никак не связанно с желанием не допустить в индекс некачественные страницы. Опять же я все объяснил в сообщении 7. Ок. Раз Вы считаете свой пход правильным то можете так и советовать новичкам. Я обычно советую новичкам изучить справки от ПС.

А смотреть как делают крупные сайты можно и нужно, так как они создают своего вида тренды на рынке. И чесно говоря у меня за последнее время очень выросло уважение к сеошникам и программистам с украины. Я часто смотрю их сайты. Они очень грамотные.

[genjnat]

Я обычно советую новичкам изучить справки от ПС

Ну так и изучите их - и то как ПС относятся к страницам не имеющим уникального (в т.ч. и в рамках сайта) контента.
Стартовые страницы разделов нужно оставлять открытыми, тем более если там еще и описание раздела имеется, а пагинация, по своей сути ничем не отличается от тех же тегов. Даже хуже, у тега хотя бы тайтл, заголовок и метаописания свои.

Ваш пример применим в статейном продвижении

При чем тут статейное продвижение...

По Вашему

Не по моему - это стандартная практика, и вполне обоснованная

ПС должна была бы выгнать эти страницы из индекса, а они есть и находятся

Я каких угодно примеров могу привести.
А по факту - Яндекс старается исключать пагинацию из индекса, а если к ней на сайте еще и теги, и пр хлам, то в отдельных случаях и весь сайт (АГС).
Гугл старается запихнуть пагинацию под вкладку "похожие страницы" потому что они такие и есть.

Это так же верно как и то, что если отдавать в индекс большое количество бесполезных для поиска страниц, то рано или поздно ПС начинают считать бесполезным для поиска весь сайт.
А по поводу вашего «пруфа» - вы показали не пагинацию а стартовые страницы разделов, но это сути не меняет, потому что страницы пагинации действительно присутствуют в основном поиске, но это лишь потому что не та не другая ПС не умеет их отфильтровать полностью.

[pyramida]

А по факту - Яндекс старается исключать пагинацию из индекса, а если к ней на сайте еще и теги, и пр хлам, то в отдельных случаях и весь сайт (АГС).

По факту предположу, что используют пагинацию, не по прямому назначению - разделять страницы для уменьшения текста. Часто видел делают пагинацию для ряда статей. То есть статья заканчивается и в коде страницы через rel=next указывают другую статью, а не продолжение текста статьи. Повторюсь, обе системы прекрасно распознают навигацию сайта, куда входит понятие пагинация.

[genjnat]

предположу, что используют пагинацию, не по прямому назначению - разделять страницы для уменьшения текста

pyramida, в данном случае, мы говорим о пагинации как о листинге, пейджинге – как угодно (т.е. – о том что ТС пытался запретить этим правилом -Disallow: /category/*/)
На ВП, после /category/, следуют page-2, page-3, page-4
А теперь мне начинает казаться, что вы второй день спорите о чем-то другом.

[pyramida]

На ВП, после /category/, следуют page-2, page-3, page-4

Я прекрасно понял про что речь. Давайте отбросим, все знания как бот получает ссылки сайта при помощи сайтмапа и ссылок с других сайтов. Он не получит ссылки если Вы закроете страницы пагинации никак. Вот о чем я и говорю.

[genjnat]

Я прямо сейчас могу показать тысячу сайтов с закрытой пагинацией, и не испытывающих никаких проблем с индексацией страниц (причины описывал выше), а вы не сможете показать ни одного который испытывает проблемы из-за этого запрета.
Повторяю, запрет на индексацию не в коем случае не препятствует ботам посещать эти страницы и переходить по ссылкам на них, они просто не участвуют в поиске.

pyramida, я устал доказывать что табуретка это табуретка (простите), можете оставаться при своем мнении.