Доброго времени суток! Заметил в панели вебмастера Яндекс, что некоторые страницы сайта исключены роботом из индекса.
Вот сам Robots.txt:
# This virtual robots.txt file was created by the PC Robots.txt WordPress plugin. # For more info visit: _http://petercoughlin.com/robotstxt-wordpress-plugin/
ctapbiu, вот мета тег для всех новостей: <meta name="robots" content="index,follow,noodp,noydir">. Но, что с странно - примерно половина из всех новостей в индексе ...
---------- Сообщение добавлено 20:24 ---------- Предыдущее 20:22 ----------
Matsa, нет. site.ru/?p=102 или site.ru/заголовок-статьи
Daniel_lt, можете проверить эти урлы на этой странице: webmaster.yandex.ru/robots.xml но сдается мне что это не из-за роботса а истинной причины не знаю
Из Яндекс.Вебмастер help.yandex.ru/webmaster/?id=996567 Важно: Директива Host в файле robots.txt может быть только одна. В случае указания нескольких директив, использоваться будет первая.