[seoeffector]

Добрый вечер. Ребята требуется ваша помощь. В Google Webmaster пишет "Для робота Google установлен запрет на site_ru"

Вот роботс сайта.

Код HTML:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
 
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Host: site_ru
Sitemap: http://site_ru/sitemap.xml.gz
Sitemap: http://site_ru/sitemap.xml

В чем может быть проблема, может что неправильно вписал в сам файл роботса? Спасибо зарание.

[kuzmi4]

Да вроде все нормально. Может в хеде что то такое стоит:

Код HTML:

<meta name="robots" content="noindex,nofollow" />

?

[seoeffector]

kuzmi4,
Не, там как раз все нормально.

[DESTER]

Давно сайт открыли для индексации? Возможно, раньше был закрыт сайт в роботсе, открыли и не успела обновиться информация в вебмастере...

[pyramida]

seoeffector, в инструментах есть проверка файла роботс + можно посмотреть через "посмотреть как гугле бот". Файл роботс обновляется 2 раза в сутки у гугла.

[Kupo]

Проверьте наличие BOM в файле robots. Скиньте ваш robots на компьютер и откройте его в любом HEX редакторе. Если в правом столбике (где отображается текст файла) текст начинается с трех непонятных символов (что-то вроде п»ї) то просто удалите их и сохраните файл.
Помниться у меня из-за них, гугл вообще не понимал ни одной строчки в robot.txt

[validcode]

BOM вроде для русских символов? или я ошибаюсь?

[Kupo]

validcode, точно сказать не могу, но факт остается фактом. Когда сохраняешь что-либо в формате utf-8 на win7 (на ХР такого не было), то BOM 100% добавиться.

[worldfoto]

Robots все верно у меня также почти.. посмотрите как гугл бот. и вам он скажет открыто или нет.. гугл постоянно индексирует сайты... ночью может и проиндексировать

[KipiaSoft]

НЕ зная структуры URL внутренних страниц сайта на Ваш вопрос ответить невозможно!
К примеру:
WP по умолчанию внутренние страницы сайта имеют структуру /?p=номер поста
У вас же в фале robots.txt для таких страницы запрещены к индексации: Disallow: /*?*

Кроме того нужно уточнить для какого робота закрыт доступ к страницам сайта. У гугла их несколько: например робот для поисковой выдачи, робот для медийной рекламы и т.п.
Для поискового робота нужно закрывать доступ к страницам с дублированным контентом, для медийного робота нужно открывать к индексации все страницы, что бы на них могла показываться ревалентная реклама.

бывали случаи, что хостеры из за подозрения на дос атаки блокировали доступ роботам поисковых систем

Так что одного фала robots.txt не достаточно что бы поставить диагнох по вашему сайту.