[Демиург]

Здравствуйте.

Есть у меня сериальный СДЛ, с которым я уже хорошенько намучился, но продолжаю писать тонны уникального контента с рассчётом на светлое будущее. И сейчас вот возникла новая проблема с Яндексом.

Сайт проиндексировался лишь в июне, после смены домена, а к середине июле все не запрещённые для индексирования посты попали в индекс. 17 июля я уехал отдыхать, а после возвращения возобновил работу. С тех пор на сайте появилось порядка 30 постов, и до вчерашнего апа ни один из них не был добавлен в индекс (сайтмап отлично работает).

Вчера в индекс попало две страницы от 30 июля (одна от 29-го не попала), а около трёх десятков августовских были проигнорированы поисковиком. Зато старые 30 страниц просто вылетели.

Незадолго до отпуска, я работал над роботс. Быть может, проблема в нём? Прячу его в спойлер.

Развернуть текст

User-agent: Yandex
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /tag
Disallow: /category
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Disallow: /*?*
Disallow: /*?
Host: ...
Crawl-delay: 1

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-includes/
Allow: /wp-content/uploads
Disallow: /wp-content/
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: /tag
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Sitemap: .../sitemap.xml

[свернуть]

Возможно, сайтмап должен быть указан отдельно и для Яндекса? Или может есть другие предположения, почему так?

[AntonMarin]

Возможно, сайтмап должен быть указан отдельно и для Яндекса?

Достаточно один раз прописать в конце файла.

А в ЛС можно URL!?

---------- Сообщение добавлено 13:26 ---------- Предыдущее 12:58 ----------

Посмотрел сайтик.
Советую убрать следующие строки из robots.txt:

Развернуть текст

Disallow: /category
Disallow: /tag
Disallow: /category/*/*

[свернуть]

Их присутствие закрывает от индексации одни из основных страниц на сайте.

И такой вопросик к Вам, Зачем у некоторых сериалов, описание закрыто в noindex!?
У тех, что закрыто, оно не уникально!?

[truemaks]

Crawl-delay: 1

а что означает эта строка?

[KingAndr]

truemaks,вот про эту строчку http://webmaster.ya.ru/replies.xml?item_no=1338

[truemaks]

У тех, что закрыто, оно не уникально!?

может просто повторяется?

---------- Сообщение добавлено 13:42 ---------- Предыдущее 13:37 ----------

У тех, что закрыто, оно не уникально!?

может просто повторяется?

[AntonMarin]

truemaks,Скорее не уникально, так как сериалы разные и описания естественно тоже разные.

[Демиург]

Их присутствие закрывает от индексации одни из основных страниц на сайте.

И такой вопросик к Вам, Зачем у некоторых сериалов, описание закрыто в noindex!?
У тех, что закрыто, оно не уникально!?

Сначала категории и теги были открыты, но начитавшись рекомендаций гуру, я всё же решил спрятать их - они, как-никак, дублируют контент. Зачем показывать поисковикам кучу дублей, которые уже есть на сайте?

То же самое касается и описаний сериалов, закрытых от Яндекса. Я закрываю только первый абзац. Почему? Сейчас объясню. Каждый сериал для каталога я описываю лично, обычно это 4-5 абзацев, порядка 1500 символов. Затем создаю посты (зачастую посезонно) с описанием/подробным содержанием конкретных сезонов/серий и, собственно, возможностью просмотра онлайн. В нижней части постов контент исключительно уникальный - опять же, пишу его только я, или друг-партнёр, за которым много приходится править. А в качестве "шапки" к постам использую первый абзац своего же описания для каталога. Таким образом, получаются дубли, которых я и избегаю посредством заключения части контента в тег <noindex>.

[truemaks]

KingAndr, спасибо

---------- Сообщение добавлено 13:59 ---------- Предыдущее 13:56 ----------

KingAndr,

Примеры:

User-agent: Yandex
Crawl-delay: 2 # задает таймут в 2 секунды

User-agent: *
Disallow: /search
Crawl-delay: 4.5 # задает таймут в 4.5 секунды

вот оттуда, как я понял, чем меньше тем лучше?

---------- Сообщение добавлено 14:02 ---------- Предыдущее 13:59 ----------

Демиург, я так и понял, что закрываете от дублирования...

[KingAndr]

truemaks,просто чем меньше время, тем быстрей робот пройдется по сайту,а так если сайт сильно загружен, ставят определенное время обхода.

[truemaks]

а если не использовать

Crawl-delay

, то с какой стандартной скоростью он обходит?