[Olexandr]

Доброго времени суток!
Помогите пожалуйста решить раз и навсегда проблему с robots.txt
Есть два пробных сайты, на которых + - 100 статей (рис. 1) - тексты все уникальные. Но в ЯВебмастер постоянно меняется количество страниц в поиске (было 50, 120, 228, 18, ​​54 (сейчас)). И что главное - так то что большинство страниц - это ссылки на категории (раньше когда были открыты для индексирования теги - то большинство ссылок было на них), вот например site.ru/category/* или site.ru/category/*/* . Всего в поиске статей где-то 10-15. Использовал несколько примеров robots.txt, сейчас использую:

robots.txt

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: /trackback
Disallow: */feed
Disallow: /feed
Disallow: */comments
Disallow: /comments
Host: site.ru

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: /trackback
Disallow: */feed
Disallow: /feed
Disallow: */comments
Disallow: /comments
Sitemap: http://site.ru/post-sitemap.xml

[свернуть]

И еще, скажите пожалуйста, нужно ли закрывать от индексации теги?
Также читал на Яндексе, что возможно это из-за того, что в категории менее 10 статей, но у меня есть и такие в которых более 10 - но там также статьи не попадают в индекс.
Буду очень благодарен всем за помощь!
пс. wordpress, сайту более 5 месяцев, текст уникальный.

Рис. 1

[Екатерина Егорова]

у меня во время наложения агс были вот так же категории в индексе а статьи вылетали. Попробуйте сначала написать в поддержку Яндекса чтобы исключить вероятность фильтра.

если вы закрыли от индексации категории и роботс и они все еще в индексе - удалите их вручную. Может статьи не влетают из-за дублированного контента, который содержится на страницах категорий.

[Kopylov]

Disallow: /category/*/*

,категории будут разрешены к индексированию и как следствие, индексироваться. Для того чтобы закрыть страницы категорий от индексации, нужно прописать Disallow: /category/*
вообще сильно не парюсь по этому поводу,поставил роботс выложенный где то здесь на форуме для вордпресс :

robots.txt

User-agent: *
Disallow: /cgi-bin
# запрещаем индексацию системных папок
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
# запрещаем индексацию страницы входа и регистрации
Disallow: /wp-login.php
Disallow: /wp-register.php
# разрешаем индексацию вложений, особо мнительным можно запретить папку wp-content целиком
Allow: /wp-content/uploads

User-agent: Yandex
Disallow: /cgi-bin
# запрещаем индексацию системных папок
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
# запрещаем индексацию страницы входа и регистрации
Disallow: /wp-login.php
Disallow: /wp-register.php
# разрешаем индексацию вложений, особо мнительным можно запретить папку wp-content целиком
Allow: /wp-content/uploads
User-agent: Googlebot-Image
Disallow:
Allow: /*
# разрешаем индексировать изображения
User-agent: YandexBlog
Disallow:
Allow: /*

[свернуть]

[5NUM]

но там также статьи не попадают в индекс

Один из последних комментариев Платонов звучит: "...если проанализировав, система делает вывод, что не может дать выдачу в 1000, страница автоматически выпадает.."