Проблема с robots.txt

(Ответов: 3, Просмотров: 324)
  1. Дипломник
    • Регистрация: 01.02.2013
    • Сообщений: 104
    • Репутация: 13
    • Webmoney BL: ?
    Проблема с robots.txt, целый день убил чтобы ее решить, но все никак не получается.
    В инструментах для веб-мастеров гугла пишет что нет доступа к robots.txt
    Хотя в яндексе все хорошо, проверил на правильность и ошибок не было.


    Писал хостеру, они пишут что это проблема не на их стороне.
    Смотрел в "Просмотреть как Googlebot" там тоже все хорошо.
    Что делать я не знаю. Подскажите, может кто сталкивался с данной проблемой.
    • 0
  2. Дипломник
    • Регистрация: 15.07.2013
    • Сообщений: 189
    • Репутация: 43
    • Webmoney BL: ?
    Foka7, я бы начал с анализа логов веб-сервера, конкретно - кто и когда запрашивал robots.txt . Дальше стратегия разветвляется:

    1. при запросе файла сайт отдает 404-ю ошибку (проблема в сайте)
    2. вообще нет запросов к файлу, хотя они должны быть (проблема не в сайте, а где-то раньше)
    • 0
  3. Гуру
    • Регистрация: 09.10.2011
    • Сообщений: 1,816
    • Репутация: 251
    Foka7, урл в студию.
    • 0
  4. Опытный Аватар для Бабайка
    • Регистрация: 08.06.2004
    • Сообщений: 309
    • Репутация: 27
    Мог сервер лежать, когда бот на него заходил. И да, урл поможет.
    «Спорт Опт»: карематы, сидушки, спальники, спасжилеты, утяжелители, пояса, груши
    • 0

Похожие темы

Темы Раздел Ответов Последний пост
АГС или robots.txt
Вопросы от новичков 11 04.12.2012 20:37
FAQ по robots.txt
Дайджест блогосферы 12 12.02.2012 20:06
Robots.txt
Обучающие статьи 12 30.06.2011 10:29
robots.txt
Вопросы от новичков 3 18.03.2011 15:03
robots.txt
Прочее 0 18.03.2011 10:44

У кого попросить инвайт?

Вы можете попросить инвайт у любого модератора:

Информеры