[Foka7]

Проблема с robots.txt, целый день убил чтобы ее решить, но все никак не получается.
В инструментах для веб-мастеров гугла пишет что нет доступа к robots.txt
Хотя в яндексе все хорошо, проверил на правильность и ошибок не было.


Писал хостеру, они пишут что это проблема не на их стороне.
Смотрел в "Просмотреть как Googlebot" там тоже все хорошо.
Что делать я не знаю. Подскажите, может кто сталкивался с данной проблемой.

[druzhkov]

Foka7, я бы начал с анализа логов веб-сервера, конкретно - кто и когда запрашивал robots.txt . Дальше стратегия разветвляется:

1. при запросе файла сайт отдает 404-ю ошибку (проблема в сайте)
2. вообще нет запросов к файлу, хотя они должны быть (проблема не в сайте, а где-то раньше)

[pyramida]

Foka7, урл в студию.

[Бабайка]

Мог сервер лежать, когда бот на него заходил. И да, урл поможет.