Что-то я совсем запутался с этим robots.txt. Подскажите, как реализовать, если возможно (сайт на WP):
1. Нужно открыть к индексации только первую страницу рубрики с описанием, типа сайт.ru/category/mods 2. И закрыть от роботов все последующие страницы пагинации, типа сайт.ru/category/mods/page/2
chubays, это большинство так думает. Наоборот нужно показать роботу, что Ваш сайт постоянно пополняется новыми страницами, в том числе и пагинации. Нужно просто правильно их организовать Посмотри в справке Гугла как правильно оформить страницы пагинации через rel=prev, next. И просто уникализируйте по шаблону мета-данные и все. А на самих страницах просто ставьте тег canonical на первую и все.
https://ideas-garden.com - SEO продвижение, раскрутка сайтов, PPC. Наращиваем трафик и создаем поток продаж.
Ни в коем случае не нужно закрывать страницы пагинации для индексации. Если это ИМ, то закрытие второй и последующих страниц в категории приведет к тому, что робот не будет получать доступ к этим страницам, а значит и внутренний вес на карточки товара не будет передаваться. Если это блог - то суть та же.
Для того, чтобы страницы не дублировались, настройте мета теги таким образом, чтобы добавлялось к примеру: Название категории - страница №.. и запретите выводить сео текст на пагинации, если таковой имеется. Иногда создает дбуликат page=1 или подобный для родительской категории, его можно устранить с помощью редиректа. Удачи!