Роботс.тхт блокирует доступ к сайтмапам в Гугле

(Ответов: 4, Просмотров: 544)
  1. Гуру
    • Регистрация: 28.03.2011
    • Сообщений: 1,086
    • Репутация: 198
    • Webmoney BL: ?
    Сегодня зашел в Гугл вебмастер и увидел, что файлы сайтмапов (использую плагин Yoast SEO) блокируются роботс.тхт. Зашел проверить роботс тхт:

    Код:
    User-agent: *
    Disallow: /wp-admin/
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /wp-trackback
    Disallow: /wp-feed
    Disallow: /*trackback
    Disallow: /*feed
    Disallow: /*page
    Disallow: /*tag
    Disallow: /*?
    Sitemap: site.ru/sitemap_index.xml
    Подумал, что может проблема в Disallow: /*page. Убрал его, обновил роботс.тхт в гугл вебмастер, отправил сайтмап повторно в гугл, после чего даже нажал "Проверить файл Sitemap". Результат тот же: /page-sitemap.xml заблокировано роботс.тхт. WTF?
    • 0
  2. Новичок Аватар для Glueon
    • Регистрация: 24.11.2014
    • Сообщений: 22
    • Репутация: 7
    Вангую, что sitemap.xml сгенерирован не плагином Yoostа, а другим :) Нужно смотреть, что в sitemap.xml. Вероятнее всего там именно то, что запрещено у вас в robots, например, категории и тэги.

    К слову, вот рекомендации самого автора плагина, где он пишет:
    There are two other sections which are blocked in the suggested robots.txt, /*?, which blocks everything with a question mark and as such all search results, and */feed/, which blocks all feeds. The first is not a good idea because if someone were to link to your search results, you wouldn’t benefit from those links.
    ...
    Blocking /feed/ is a bad idea because an RSS feed is actually a valid sitemap for Google. Blocking it would prevent Google from using that to find new content on your site.
    Т.е. видите, он считает такой robots избыточным.
    • 1

    Спасибо сказали:

    Translit13(22.01.2015),
  3. PHP Developer Аватар для HiNeX
    • Регистрация: 26.04.2012
    • Сообщений: 222
    • Репутация: 47
    • Webmoney BL: ?
    Translit13, а если добавить
    Allow: /page-sitemap.xml
    перед Sitemap?
    • 1

    Спасибо сказали:

    Translit13(22.01.2015),
  4. Опытный Аватар для dotWizard
    • Регистрация: 29.07.2014
    • Сообщений: 463
    • Репутация: 347
    • Webmoney BL: ?
    Может вам проще поставить плагин для генерации карты и не мучить себя и Yoast.
    • 1

    Спасибо сказали:

    Translit13(22.01.2015),
  5. Гуру
    • Регистрация: 28.03.2011
    • Сообщений: 1,086
    • Репутация: 198
    • Webmoney BL: ?
    HiNeX, пробовал, бестолку.
    Glueon, проверим
    dotWizard, потом попробую)
    • 0

Похожие темы

Темы Раздел Ответов Последний пост
Твитер блокирует ссылки на сайт
Вопросы от новичков 10 24.06.2013 18:08
Аваст блокирует сайт
Обсуждение форума и ваши предложения 84 06.03.2012 14:12
Каспер блокирует платник, что делать?
Партнерские программы 4 15.02.2012 20:34
Как зайти в LoadPays? блокирует NOD32
Партнерские программы 2 09.10.2011 18:29

У кого попросить инвайт?

Вы можете попросить инвайт у любого модератора:

Информеры