[FIvYur]

Друзья, нужен совет. На блоге длительное время вот такой файл robots.txt

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Host: ********
Sitemap: _http://*****************/sitemap.xml.gz
Sitemap: _http://*****************/sitemap.xml

И было нормально. Но вот сегодня:

09.02.2015 наш робот получил полный запрет на индексирование сайта в Вашем файле robots.txt. Пожалуйста, воспользуйтесь формой проверки. Если запрет все еще присутствует, то по вопросу устранения этой проблемы Вам нужно обратиться к администратору Вашего сайта или хостеру. Если сейчас запрет отсутствует, то сообщение обновится в течение 2–3 дней.

Подскажите кто знает. Что не так? Что делать?

[PhotoShopRND]

Бывает и Яшу глюки накрывают. У меня на одном сайте такая же проблема нарисовалась. Только robots проще.

User-agent: *
Disallow: /admin/
Sitemap: _http://*******.ru/sitemap.xml
Host: *******.ru

Подожду недельку, думаю что само "переболит"

[Леонид Каруна]

Киньте ваш файл на перепроверку в Яндексе.
Если нет, то напишите в поддержку. Проблема с их стороны, в вашем файле не заметно запретов.

[Lobanio]

3.02.2015 У робота Яндекса отсутствовал доступ к сайту, поэтому он не был проиндексирован и в поиске не участвует. Уточните у Вашего хостера, не блокируется ли сейчас IP робота 178.154.150.208 на стороне сервера. Если доступ открыт, то сайт начнет индексироваться в течение 2 недель, после этого сообщение обновится.

Че за фигня?

User-Agent: *
Disallow: /?
Disallow: /go_out.php
Disallow: /images
Disallow: /images/lizing
Disallow: /images/ntc
Disallow: /files
Disallow: /users
Disallow: /admin
Disallow: /search
Disallow: /install-temp
Disallow: /install-static
Disallow: /install-libs

Host: http://********.ru
Sitemap: http:********/sitemap.xml

[Cyrus]

Lobanio, возможная причина - сайт был недоступен во время обхода роботом. У меня такое один раз было, во время захода робота лег хостинг джино и страницы сайта вылетели на пару дней из выдачи.

[worldfoto]

Такое часто встречается. ошибки были две недели ничего не менялось. с яшей все ок

[ks-11]

Надеюсь автор не будет возражать если задам здесь вопрос:
Просьба подсказать как правильно закрыть индексацию поиск на самом сайте?
полазив не нашел, просьба подсказать.Спасибо.

[Brovik]

ks-11,
User-Agent: *
Disallow: /

[ks-11]

Brovik,
Т.е. будет закрыт именно поиск по сайту? а не сам сайт?
Может не правильно написал, есть сайт, на самом сайте есть поиск, вот чтобы роботы по поиску сайта не проходили.

[Cyrus]

Brovik,
Т.е. будет закрыт именно поиск по сайту? а не сам сайт?

Код:

User-Agent: *
Disallow: /

закроет весь сайт от индексации.

Хорошо бы сайт знать, а то кто ж кроме вас знает по какому адресу у вас поиск на сайте расположен. Если хотите закрыть только поиск по сайту, закройте от индексации или саму страницу поиска, например это может быть страница с адресом site.ru/search, тогда нужно прописать правило Disallow: /search или страницу с результатами поиска, а возможно у вас добавляются ещё и параметры к страницам, найденным через поиск (site.ru/page?q=zapros).