robots.txt вопрос

(Ответов: 14, Просмотров: 1075)
Страница 1 из 2 12 Последняя
  1. unknown night elf Аватар для Darkhoru
    • Регистрация: 15.07.2012
    • Сообщений: 284
    • Репутация: 102
    • Webmoney BL: ?
    Помогите составить robots.txt для сайта на WP. Дело в том, что при помощи плагина All in One SEO Plugin закрываются рубрики, архивы и теги от индекса. Нужно ли их тоже закрывать в robots? Подскажите код хорошего, грамотного robots.txt для сайта, что бы ПС было легче и быстрее его индексировать. Спасибо.
    • 0
  2. Дипломник Аватар для Moris_9
    • Регистрация: 10.02.2012
    • Сообщений: 114
    • Репутация: 4
    • Webmoney BL: ?
    Почитай может поможет http://wp-kama.ru/id_803/pishem-prav...wordpress.html
    • 1

    Спасибо сказали:

    Darkhoru(17.07.2012),
  3. Сотворившая Сайт Аватар для Векселл
    • Регистрация: 20.05.2012
    • Сообщений: 415
    • Репутация: 162
    • Webmoney BL: ?
    User-agent: Yandex
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/themes
    Disallow: /feed
    Disallow: /*/feed
    Disallow: /page
    Disallow: /comments
    Disallow: /tag
    Disallow: /archives
    Disallow: /2012
    Disallow: /category/
    Disallow: */trackback
    Disallow: /trackback/
    Disallow: /*?*
    Disallow: /*?
    Disallow: */comment-page-*
    Host: сайт.ru

    User-agent: *
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/themes
    Disallow: /feed
    Disallow: /*/feed
    Disallow: /page
    Disallow: /comments
    Disallow: /tag
    Disallow: /archives
    Disallow: /2012
    Disallow: /category/
    Disallow: */trackback
    Disallow: /trackback/
    Disallow: /*?*
    Disallow: /*?
    Disallow: */comment-page-*
    Sitemap: http://сайт.ru/sitemap.xml
    • -1
  4. Гуру Аватар для genjnat
    • Регистрация: 30.11.2010
    • Сообщений: 2,884
    • Репутация: 2594
    • Webmoney BL: ?
    Цитата Сообщение от Darkhoru Посмотреть сообщение
    закрываются рубрики, архивы и теги от индекса. Нужно ли их тоже закрывать в robots?
    Да, нужно, если конечно, вы не делаете для каждого тега и рубрики, самастоятельное описание
    Цитата Сообщение от Darkhoru Посмотреть сообщение
    Подскажите код хорошего, грамотного robots.txt для сайта
    Поставьте себе базовый, а потом корректируйте под свои нужды, к примеру у меня, он уже такой
    User-agent: *
    Disallow: /wp-login.php
    Disallow: /wp-register.php
    Disallow: /xmlrpc.php
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content
    Disallow: /tag
    Disallow: /page
    Disallow: /trackback/
    Disallow: /feed/
    Disallow: /comments/
    Disallow: */trackback/
    Disallow: */feed
    Disallow: */comments/
    Disallow: /?feed=
    Disallow: /?s=
    Disallow: /?m=
    Disallow: /2010
    Disallow: /2009
    Disallow: /?paged=
    Disallow: /author
    Allow: /wp-content/uploads/
    Host: ваш-сайт.ru
    Последний раз редактировалось genjnat; 17.07.2012 в 14:32.
    • 0
  5. Гуру Аватар для dmg.shark
    • Регистрация: 10.04.2010
    • Сообщений: 2,312
    • Репутация: 728
    • Webmoney BL: ?
    Цитата Сообщение от Darkhoru Посмотреть сообщение
    Помогите составить robots.txt для сайта на WP.
    вперед https://www.google.com.ua/#hl=ru&gs_...w=1366&bih=643

    Цитата Сообщение от Darkhoru Посмотреть сообщение
    Дело в том, что при помощи плагина All in One SEO Plugin закрываются рубрики, архивы и теги от индекса. Нужно ли их тоже закрывать в robots?
    Да, нужно.

    Цитата Сообщение от Darkhoru Посмотреть сообщение
    Подскажите код хорошего, грамотного robots.txt для сайта, что бы ПС было легче и быстрее его индексировать.
    Каждый сайт, как и его robots.txt индивидуальный, панацеи нет. Пользуйтесь: http://robotstxt.org.ru/ и http://help.yandex.ru/webmaster/?id=996567

    Удачи!

    ---------- Сообщение добавлено 11:30 ---------- Предыдущее 11:29 ----------

    а это для чего?
    Цитата Сообщение от genjnat Посмотреть сообщение
    Allow: /wp-content/uploads/
    :)
    • 0
  6. unknown night elf Аватар для Darkhoru
    • Регистрация: 15.07.2012
    • Сообщений: 284
    • Репутация: 102
    • Webmoney BL: ?
    Спасибо, составил по примеру. Будем ждать) А то очень подозрительно, уже почти неделя прошла, а только 1 страница в индексе.. Даже на ucoz быстрее сайт залетел...
    • 0
  7. Гуру Аватар для dmg.shark
    • Регистрация: 10.04.2010
    • Сообщений: 2,312
    • Репутация: 728
    • Webmoney BL: ?
    Цитата Сообщение от Darkhoru Посмотреть сообщение
    Спасибо, составил по примеру. Будем ждать) А то очень подозрительно, уже почти неделя прошла, а только 1 страница в индексе.. Даже на ucoz быстрее сайт залетел...
    неделя - это совсем мало, ждите еще недели 2, чтобы что-то увидеть :)

    кстати, составление robots.txt вам мало поможет в ускорении индексации сайта, а вот карта xml для сайта не помешает и вот ее то нужно будет прописать в robots.txt :)
    • 0
  8. Гуру Аватар для genjnat
    • Регистрация: 30.11.2010
    • Сообщений: 2,884
    • Репутация: 2594
    • Webmoney BL: ?
    Цитата Сообщение от dmg.shark Посмотреть сообщение
    а это для чего?
    нужно было, чтобы папка /wp-content была закрыта, а вложение uploads индексировалось
    • 0
  9. unknown night elf Аватар для Darkhoru
    • Регистрация: 15.07.2012
    • Сообщений: 284
    • Репутация: 102
    • Webmoney BL: ?
    dmg.shark, Повторюсь, что даже юкозовский сайт залетел полностью в индекс Яши через неделю, мб просто повезло)) Карта сайта у меня есть, все прописано. К слову, гугл уже давно все что есть проиндексировал.. Яша лентяй))
    • 0
  10. Разработка любых сайтов Аватар для ArhStrAngeR
    • Регистрация: 08.06.2011
    • Сообщений: 3,376
    • Записей в дневнике: 1
    • Репутация: 2506
    Darkhoru,можно просто воспользоваться поиском по форуму и найти парочку статей http://webmasters.ru/forum/f10/optim...vodstvo-18111/ и Оптимизация сайта на wordpress
    • 0
Страница 1 из 2 12 Последняя

Похожие темы

Темы Раздел Ответов Последний пост
Все о robots.txt
Общие вопросы поисковой оптимизации 19 03.07.2012 13:46
Вопрос не вопрос, предубеждение ? Не думаю. Мне интересно ваше мнение.
Оффтоп и свободные темы 8 19.06.2012 06:20
robots.txt
Web программирование 4 10.08.2011 15:47
Robots.txt
Обучающие статьи 12 30.06.2011 11:29
Вопрос по robots.txt
Вопросы от новичков 3 10.01.2011 19:29

У кого попросить инвайт?

Вы можете попросить инвайт у любого модератора:

Информеры