[Safist]

Подскажите нубу. Вот robots.txt:
User-Agent: *
Disallow: /news/*
Disallow: /service/*
Disallow: /zapchasti/*
Disallow: /about/*
Allow: /about/contacts/
Sitemap: http://www.domen.site.com/sitemap.xml
Host: www.domen.site.com

Яндекс не хочет индексировать никак, хотя Гугл нормально индексирует. Сегодня был исправлен один косяк в robots - убрали протокол http из директивы Host.

Собственно вопрос: есть ли еще какие косяки в этом robots.txt, которые могут мешать индексации?

Заранее спасибо!

[Ailton]

А на сайте хоть есть что-то кроме разделов, запрещенных к индексации: news, service, zapchasti ?

[hammer8]

Яндекс не хочет индексировать никак

Скиньте ссылку на сайт, возможно на сайте есть теги вроде <meta name="robots" content="noindex, nofollow"/>

Host: www.domen.site.com

Как вижу- это уже поддомен.

[Safist]

hammer8, да, это поддомен. Проблема в этом может быть?
Не, строка meta name robots содержит "index, follow"

---------- Сообщение добавлено 01:00 ---------- Предыдущее 00:59 ----------

Ailton,есть. Каталог.

[Ailton]

Ну, если каталог не закрыт для индексации другим способом, то могут быть самые разные варианты непопадания в индекс Яшки, начиная от того, что прошло слишком мало времени (вы не указали возраст сайта и время создания открытого для индексации раздела) и заканчивая, например, неуникальностью контента. Да мало ли что может быть - без сайта это всё гадание на кофейной гуще.

По поводу роботс. Сделайте отдельные правила для яшки и гуглбота. Сайтмап можно не указывать. Закройте в нем также технические страницы сайта.

[hammer8]

Проблема в этом может быть?

Маловероятно. А точно ответить на вопрос можно посмотрев сам сайт, из данного роботса ничего нельзя сказать, явных запретов тут нет, из не значимых ошибок директива Host, поддерживается только Яндексом.

Код:

User-Agent: *
Disallow: /news/*
Disallow: /service/*
Disallow: /zapchasti/*
Disallow: /about/*
Allow: /about/contacts/

User-Agent: Yandex
Sitemap: http://www.domen.site.com/sitemap.xml
Host: www.domen.site.com