[Kupo]

Помогите пожалуйста решить проблему. Вот ссылка на _http://www.workwebsite.ru/robots.txt может он не правильный какой-то но яндексу нравиться, поэтому думаю что я не совсем баран. А вот гуглу наоборот такой роботс не нравиться.... Проверяю через Гугл вебмастер, получаеться такая картина:

анализ файла robots

Строка 1: User-agent: * Синтаксис не распознается
Строка 2: Disallow: /administrator/ User-agent не указан
Строка 3: Disallow: /cache/ User-agent не указан
Строка 4: Disallow: /components/ User-agent не указан
Строка 5: Disallow: /includes/ User-agent не указан
Строка 6: Disallow: /language/ User-agent не указан
Строка 7: Disallow: /libraries/ User-agent не указан
Строка 8: Disallow: /logs/ User-agent не указан
Строка 9: Disallow: /modules/ User-agent не указан
Строка 10: Disallow: /plugins/ User-agent не указан
и т.д.

[свернуть]

Гугл все это индексирует. =(

Делал для бота гугла отдельные указания с такими же настройками и в ГВМ получил такую картину. Не распознавался user-agent бота гугла, за то user-agent * прекрасно распознавался и содержимое не индексировалось.

Вот собственно хочу узнать, что это за мистика??? Может я сделал что-то не то?

[GwynnBleiidd]

Kupo, может WMT шалит? Я сравнил со своими, всё верно, подумал вдруг русский символ, нет всё нормально.
Вот пример - http://www.google.com.ua/robots.txt и http://yandex.ru/robots.txt всё верно у вас...

Можете подождать ~72 часа или сколько там идёт обновление робота в WMT.

[Kupo]

GwynnBleiidd,просто эта фигня тянется очень давно, и весь трафик с гугла просел, я долго искал причину и нашел это, думаю из-за того что весь этот шлак индексируется траф и просе. Я уже изменял по разному роботс и ждал даже более 72 часов, безрезультатно.... Сейчас попробую создать отдельно для Гугла и отдельно для Яндекса...

[GwynnBleiidd]

Kupo, они пишут в справочнике, что гугля читает * как под себя.
Я всегда создаю под * и для яши отдельно.

Если создавать под гуглю, то если не изменяет память надо на каждого гугл бота делать, а это обычный+фото+видео рк\моб и.т.д... Писали они даже, мол не надо делать отдельные правила для ботов гугла, типа может расцениваться как попытка скрыть что-то

[pyramida]

Kupo, файл, попробуйте записать в кодировке utf8 без BOM.

[Kupo]

Kupo, они пишут в справочнике, что гугля читает * как под себя.
Я всегда создаю под * и для яши отдельно.

Если создавать под гуглю, то если не изменяет память надо на каждого гугл бота делать, а это обычный+фото+видео рк\моб и.т.д... Писали они даже, мол не надо делать отдельные правила для ботов гугла, типа может расцениваться как попытка скрыть что-то

Спасибо, не знал.

Kupo, файл, попробуйте записать в кодировке utf8 без BOM.

ТОЧНО!!! Совсем забыл про эту фигню. Сейчас поробую, как только ГВМ все обновит, отпишусь.

[pyramida]

как только ГВМ все обновит

У гугла може обновление файла роботс занять до 24 часов. Как вариант используйте в ВМТ проверку.

[Kupo]

pyramida, все именно так как вы говорили. Убрал BOM и в ГВМ больше нет никаких проблем. Большое спасибо за помощь!!!