Robots.txt

(Ответов: 9, Просмотров: 1325)
  1. Опытный Аватар для seoeffector
    • Регистрация: 30.08.2011
    • Сообщений: 250
    • Репутация: 19
    Добрый вечер. Ребята требуется ваша помощь. В Google Webmaster пишет "Для робота Google установлен запрет на site_ru"

    Вот роботс сайта.

    Код HTML:
    User-agent: *
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /trackback
    Disallow: */trackback
    Disallow: */*/trackback
    Disallow: */*/feed/*/
    Disallow: */feed
    Disallow: /*?*
    Disallow: /tag
     
    User-agent: Yandex
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /trackback
    Disallow: */trackback
    Disallow: */*/trackback
    Disallow: */*/feed/*/
    Disallow: */feed
    Disallow: /*?*
    Disallow: /tag
    Host: site_ru
    Sitemap: http://site_ru/sitemap.xml.gz
    Sitemap: http://site_ru/sitemap.xml
    В чем может быть проблема, может что неправильно вписал в сам файл роботса? Спасибо зарание.
    • 0
  2. Гуру Аватар для kuzmi4
    • Регистрация: 26.02.2014
    • Сообщений: 525
    • Репутация: 104
    • Webmoney BL: ?
    Да вроде все нормально. Может в хеде что то такое стоит:
    Код HTML:
    <meta name="robots" content="noindex,nofollow" />
    ?
    • 1

    Спасибо сказали:

    seoeffector(05.03.2014),
  3. Опытный Аватар для seoeffector
    • Регистрация: 30.08.2011
    • Сообщений: 250
    • Репутация: 19
    kuzmi4,
    Не, там как раз все нормально.
    • 0
  4. Сеошнег Аватар для DESTER
    • Регистрация: 15.02.2012
    • Сообщений: 454
    • Репутация: 112
    • Webmoney BL: ?
    Давно сайт открыли для индексации? Возможно, раньше был закрыт сайт в роботсе, открыли и не успела обновиться информация в вебмастере...
    • 1

    Спасибо сказали:

    seoeffector(05.03.2014),
  5. Гуру
    • Регистрация: 09.10.2011
    • Сообщений: 1,814
    • Репутация: 251
    seoeffector, в инструментах есть проверка файла роботс + можно посмотреть через "посмотреть как гугле бот". Файл роботс обновляется 2 раза в сутки у гугла.
    • 0
  6. Студент Аватар для Kupo
    • Регистрация: 18.09.2013
    • Сообщений: 40
    • Репутация: 4
    Проверьте наличие BOM в файле robots. Скиньте ваш robots на компьютер и откройте его в любом HEX редакторе. Если в правом столбике (где отображается текст файла) текст начинается с трех непонятных символов (что-то вроде п»ї) то просто удалите их и сохраните файл.
    Помниться у меня из-за них, гугл вообще не понимал ни одной строчки в robot.txt
    • 1

    Спасибо сказали:

    seoeffector(05.03.2014),
  7. Дипломник Аватар для validcode
    • Регистрация: 03.07.2013
    • Сообщений: 215
    • Репутация: 37
    • Webmoney BL: ?
    BOM вроде для русских символов? или я ошибаюсь?
    • 1

    Спасибо сказали:

    seoeffector(05.03.2014),
  8. Студент Аватар для Kupo
    • Регистрация: 18.09.2013
    • Сообщений: 40
    • Репутация: 4
    validcode, точно сказать не могу, но факт остается фактом. Когда сохраняешь что-либо в формате utf-8 на win7 (на ХР такого не было), то BOM 100% добавиться.
    • 1

    Спасибо сказали:

    seoeffector(05.03.2014),
  9. Гуру Аватар для worldfoto
    • Регистрация: 10.01.2013
    • Сообщений: 651
    • Репутация: 75
    • Webmoney BL: ?
    Robots все верно у меня также почти.. посмотрите как гугл бот. и вам он скажет открыто или нет.. гугл постоянно индексирует сайты... ночью может и проиндексировать
    -HostPro.ua_ - Лучший хостинг. Пожизненная скидка -10% с промокодом, на хостинг P235603-39483, на Cервера P235603-64089
    • 1

    Спасибо сказали:

    seoeffector(05.03.2014),
  10. Гуру Аватар для KipiaSoft
    • Регистрация: 16.11.2009
    • Сообщений: 638
    • Записей в дневнике: 4
    • Репутация: 255
    • Webmoney BL: ?
    НЕ зная структуры URL внутренних страниц сайта на Ваш вопрос ответить невозможно!
    К примеру:
    WP по умолчанию внутренние страницы сайта имеют структуру /?p=номер поста
    У вас же в фале robots.txt для таких страницы запрещены к индексации: Disallow: /*?*

    Кроме того нужно уточнить для какого робота закрыт доступ к страницам сайта. У гугла их несколько: например робот для поисковой выдачи, робот для медийной рекламы и т.п.
    Для поискового робота нужно закрывать доступ к страницам с дублированным контентом, для медийного робота нужно открывать к индексации все страницы, что бы на них могла показываться ревалентная реклама.

    бывали случаи, что хостеры из за подозрения на дос атаки блокировали доступ роботам поисковых систем

    Так что одного фала robots.txt не достаточно что бы поставить диагнох по вашему сайту.
    • 0

Похожие темы

Темы Раздел Ответов Последний пост
robots.txt
Общие вопросы поисковой оптимизации 5 23.06.2013 00:40
robots.txt
Вопросы от новичков 9 23.04.2013 20:23
ROBOTS в DLE.
DLE 4 10.05.2012 12:52
FAQ по robots.txt
Дайджест блогосферы 12 12.02.2012 20:06
robots.txt
Web программирование 4 10.08.2011 14:47

У кого попросить инвайт?

Вы можете попросить инвайт у любого модератора:

Информеры