[Translit13]

Сегодня зашел в Гугл вебмастер и увидел, что файлы сайтмапов (использую плагин Yoast SEO) блокируются роботс.тхт. Зашел проверить роботс тхт:

Код:

User-agent: *
Disallow: /wp-admin/
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /*trackback
Disallow: /*feed
Disallow: /*page
Disallow: /*tag
Disallow: /*?
Sitemap: site.ru/sitemap_index.xml

Подумал, что может проблема в Disallow: /*page. Убрал его, обновил роботс.тхт в гугл вебмастер, отправил сайтмап повторно в гугл, после чего даже нажал "Проверить файл Sitemap". Результат тот же: /page-sitemap.xml заблокировано роботс.тхт. WTF?

[Glueon]

Вангую, что sitemap.xml сгенерирован не плагином Yoostа, а другим :) Нужно смотреть, что в sitemap.xml. Вероятнее всего там именно то, что запрещено у вас в robots, например, категории и тэги.

К слову, вот рекомендации самого автора плагина, где он пишет:

There are two other sections which are blocked in the suggested robots.txt, /*?, which blocks everything with a question mark and as such all search results, and */feed/, which blocks all feeds. The first is not a good idea because if someone were to link to your search results, you wouldn’t benefit from those links.
...
Blocking /feed/ is a bad idea because an RSS feed is actually a valid sitemap for Google. Blocking it would prevent Google from using that to find new content on your site.

Т.е. видите, он считает такой robots избыточным.

[HiNeX]

Translit13, а если добавить
Allow: /page-sitemap.xml
перед Sitemap?

[dotWizard]

Может вам проще поставить плагин для генерации карты и не мучить себя и Yoast.

[Translit13]

HiNeX, пробовал, бестолку.
Glueon, проверим
dotWizard, потом попробую)