[Translit13]

Всех с добрым днем. Заметил две такие проблемы:

1) Откуда-то не возьмись, в панели вебмастеров Гугл и Яндекс на страницах "Ошибки сканирования" и "Структура сайта" соответственно, есть ссылки на якобы существующие страницы на сайте. При чем, Гугл нашел таких страниц под 300, а яндекс - около 70. Ума не приложу, что это может быть, поскольку таких страниц никогда не существовало. Смешно и то, что они датируются 2013 годом, в то время как сайт я создал в 2014. WTF?
2) Для создания сайтмап использую XML Sitemap Generator for WordPress, который создает одну главную сайтмап для всего сайта и сайтмапы для каждого месяца, например sitemap-pt-page-2014-08.xml. Так вот эти сайтмапы непонятно отчего запрещены к индексации в файле robots.txt. Я его создал вручную, проверял в Я и Г вебмастере, никаких запретов не было. Теперь бьюсь в догадках, отчего это. Раньше использовал сайтмап от плагина wordpress SEO и был тот же результат.

Апдейт:
Со второй проблемой, похоже, разобрался. В роботс тхт во избежание булирования пагинации было прописано
Disallow: /*page
в результате, запрещались к индексации эти сайтмапы. Вопрос: как прописать правильно запрет к индексации пагинации, что б в то же время не было бы запрета к индексации сайтмап?

[efs]

вангую, что домен с историей и пс вспомнили про старые страницы, вот и ошибки сканирования по неизвестным вам урлам.

по второму вопросу, используйте директиву Allow, указав например /sitemap*

[Translit13]

А как можно узнать историю домена? Я просто регистрировал новый...

---------- Сообщение добавлено 20:53 ---------- Предыдущее 18:56 ----------

На другом сайте сайтмапы в виде /page.xml и /taxonomy_post_tag.xml, добавление директивы

Allow: /*.xml

не помогает. Может кто подскажет, как решить вопрос с запрещением индексирования пагинации и в, то же время, не запретом индексирования сайтмапов?

[efs]

добавление директивы

Allow: /*.xml

не помогает.

каким образом проверяете?

[Beryllium]

А как можно узнать историю домена? Я просто регистрировал новый...

Историю можно узнать с помощью веб-архива, или на 1stat.ru посмотреть, но только для .ru .su доменов.

[Translit13]

каким образом проверяете?

При проверке роботс.тхт в Яндексе яндекс этих строк не видит.

Историю можно узнать с помощью веб-архива, или на 1stat.ru посмотреть, но только для .ru .su доменов.

Вау...Не думал, что мой домен будет так использоваться...