[Daniel_lt]

Доброго времени суток!
Заметил в панели вебмастера Яндекс, что некоторые страницы сайта исключены роботом из индекса.

Вот сам Robots.txt:

# This virtual robots.txt file was created by the PC Robots.txt WordPress plugin.
# For more info visit: _http://petercoughlin.com/robotstxt-wordpress-plugin/

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /feed
Disallow: */feed
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /search/*/feed
Disallow: /search/*/*
Disallow: /tag/
Allow: /wp-content/uploads/
Host: сайт.ru
Sitemap: _http://сайт.ru/sitemap.xml.gz

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: сайт.ru

Sitemap: _http://сайт.ru/sitemap.xml.gz

Исключены страницы типа: /?p=102, /?p=117, /?p=142 ... (т.е. новости).
Интересует, какая именно строка в Robots.txt повлияла на исключение выше указанных страниц?

[ctapbiu]

этот роботс не включает в себя правила для исключения такого рода страниц
возможно мета-тэг роботс в самих страницах
посмотрите исходный код страниц

[Matsa]

Disallow: /search/*/*

может быть из за этой?
посматрите полный урл, он такой случаной?
site.ru/search/?p=102

[Daniel_lt]

ctapbiu, вот мета тег для всех новостей: <meta name="robots" content="index,follow,noodp,noydir">.
Но, что с странно - примерно половина из всех новостей в индексе ...

---------- Сообщение добавлено 20:24 ---------- Предыдущее 20:22 ----------

Matsa, нет.
site.ru/?p=102 или site.ru/заголовок-статьи

[ctapbiu]

вот мета тег для всех новостей:

а на странице /?p=102
?

[Daniel_lt]

ctapbiu, тоже самое: <meta name="robots" content="index,follow,noodp,noydir">.

[ctapbiu]

Daniel_lt, можете проверить эти урлы на этой странице: webmaster.yandex.ru/robots.xml
но сдается мне что это не из-за роботса
а истинной причины не знаю

[Daniel_lt]

ctapbiu, проверил,
1 Ошибка:
39: Host: mmoreviews.ru - Найдено несколько директив Host

Спасибо за помощь, буду дальше разбираться ... :)

[kstnews]

Из Яндекс.Вебмастер help.yandex.ru/webmaster/?id=996567
Важно: Директива Host в файле robots.txt может быть только одна. В случае указания нескольких директив, использоваться будет первая.

[Daniel_lt]

kstnews, в моем случае будет правильнее убрать первую или вторую директиву Host?