[DGETA]

У меня WordPress с ЧПУ url

Статьи вида: http://сайт.ru/kak-cdelat-ctul/

был robots.txt такой:

Развернуть текст

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Host: сайт.ru
Sitemap: http://сайт.ru/sitemap.xml.gz
Sitemap: http://сайт.ru/sitemap.xml

[свернуть]

На сайте было 40 статей.
Как вы поняли Disallow: /*?* яндесу не давал индексировать статьи а гугл все 40 страниц проиндексировал

Убрал Disallow: /*?* ЯВ показал мгновенно:
Загружено роботом 40
Страниц в поиске 40


Через 10 часов показал вот:


Вот в ЯВ исключённые:


Вот какого вида эти исключённые:


Информация о сайте выглядит так:


Всё ли нормально?

Какой должен быть правильный robots.txt для WordPress с ЧПУ вида http://сайт/%postname%/

[efs]

ставите плагин сео-оптимизации (тот же all in one seo pack) и ставите в ноиндекс категории, архивы, метки и т.д. т.е. все, что вы сочтете необходимым закрыть от роботов ПС. Плагин пропишет в код соответствующих страниц запрет индексации.

[86rabota]

DGETA,Да не переживайте все тут нормально, я бы на вашем месте закрыл еще комментарии. Со мной некоторые могут поспорить, но я на эту тему очень много инфы прочитал. Комментарии очень часто снижают уникальность страницы, что влияет на ранжирование.
Прикладываю свой роботс, только он не полный есть еще часть которая дает команды остальным ПС:

[86rabota]

ПС загружает все полностью, вместе с анонсами и остальными соплями, а в индексацию выдает именно то что у Вас указано в виде 39 страниц (то есть только то на что не стоит запрет)

[DGETA]

86rabota, братан Комменты с ВК и Fb индексируются?
у меня очень много комментов под записями от реальных людей[COLOR="Silver"]

---------- Сообщение добавлено 17:52 ---------- Предыдущее 17:52 ----------


и робот свои приложи текстом, а не кратинкой

[86rabota]

DGETA,Ты наверное не понимаешь что такое индексация. Тебе нужна индексация со сторонних ресурсов а не на своем.
Я не знаю как тут файл прикрепить

[DGETA]

86rabota,
текстом напиши
я хочу чтобы мои коммнеты индексировались

[86rabota]

DGETA, Значит удалишь из робота запрет коментов и заменишь мой домен на свой

robots:

User-agent: Googlebot
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /category/
Disallow: /author/
Disallow: /page/
Disallow: /*page*/
Disallow: /tag/
Disallow: /feed/
Disallow: /*feed
Disallow: /trackback
Disallow: /comments
Disallow: /comment
Disallow: /*?
Disallow: /*?*

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-login
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /category/
Disallow: /author/
Disallow: /page/
Disallow: /*page*/
Disallow: /tag/
Disallow: /feed/
Disallow: /*feed
Disallow: /trackback
Disallow: /comments
Disallow: /comment
Disallow: /*?
Disallow: /*?*
Host: biz911.ru

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-login
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /category/
Disallow: /author/
Disallow: /page/
Disallow: /*page*/
Disallow: /tag/
Disallow: /feed/
Disallow: /*feed
Disallow: /trackback
Disallow: /comments
Disallow: /comment
Disallow: /*?
Disallow: /*?*

Sitemap: http://biz911.ru/sitemap.xml.gz
Sitemap: http://biz911.ru/sitemap.xml