Оцените правильность robots.txt для WordPress

(Ответов: 13, Просмотров: 2982)
Страница 1 из 2 12 Последняя
  1. Опытный Аватар для Михан
    • Регистрация: 26.12.2010
    • Сообщений: 344
    • Записей в дневнике: 6
    • Репутация: -1
    Оцените правильность robots.txt для WordPress, может стоит что-то добавить или что-то поменять?! :)
    User-agent: *
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /wp-content/languages
    Disallow: /trackback
    Disallow: /tag
    Disallow: /feed
    Disallow: /comments
    Disallow: /category/*/*
    Disallow: */trackback
    Disallow: */feed
    Disallow: */comments
    Disallow: /*?*
    Disallow: /*?
    Disallow: /?s=
    Disallow: /xmlrpc.php
    Allow: /wp-content/uploads
    Crawl-delay: 2
    Sitemap: http://ruwinner.com/sitemap.xml
    Sitemap: http://ruwinner.com/sitemap.xml.gz
    Последний раз редактировалось Михан; 20.03.2011 в 02:04.
    • 0
  2. Новичок
    • Регистрация: 27.10.2009
    • Сообщений: 16
    • Репутация: 16
    Если под яндекс - для него отдельную секцию надо.

    Совет. Найти хорошо (и качественно) проиндексированные (всеми ПС) блоги на ВП и посмотри их роботс
    • 0
  3. Опытный Аватар для Rulik
    • Регистрация: 04.09.2009
    • Сообщений: 251
    • Репутация: 80
    Цитата Сообщение от Slumlord Посмотреть сообщение
    Если под яндекс - для него отдельную секцию надо.
    Зачем отдельная секция под яндекс?
    • 0
  4. Новичок
    • Регистрация: 27.10.2009
    • Сообщений: 16
    • Репутация: 16
    Цитата Сообщение от Rulik Посмотреть сообщение
    Зачем отдельная секция под яндекс?
    Потому что это яндекс. И плевать он хотел на других
    См сюда в первом же примере видим:

    User-agent: * # не будет использована роботами Яндекса
    Кроме того некоторые директивы (Host, например) понимает только яша.
    Последний раз редактировалось Slumlord; 22.03.2011 в 18:56.
    • 0
  5. Студент
    • Регистрация: 06.03.2011
    • Сообщений: 92
    • Записей в дневнике: 6
    • Репутация: 11
    Для сайта я составил вот такой файл robots.txt. Как уже выше говорилось для Яндекса нужна отдельная секция.

    User-agent: Yandex
    Allow: /wp-content/uploads/
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content
    Disallow: /wp-login.php
    Disallow: /wp-register.php
    Disallow: /tag
    Disallow: /archive
    Disallow: /author
    Disallow: /category
    Disallow: /page
    Disallow: */page/
    Disallow: */trackback
    Disallow: */feed
    Disallow: */comments
    Disallow: /?s=
    Host: site.ru

    User-agent: *
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content
    Disallow: /wp-login.php
    Disallow: /wp-register.php
    Disallow: /tag
    Disallow: /archive
    Disallow: /author
    Disallow: /category
    Disallow: /page
    Disallow: */page/
    Disallow: */trackback
    Disallow: */feed
    Disallow: */comments
    Disallow: /?s=
    Allow: /wp-content/uploads/
    Sitemap: http://site.ru/sitemap.xml
    Последний раз редактировалось Afes; 22.03.2011 в 22:32.
    • 1

    Спасибо сказали:

    Михан(22.03.2011),
  6. Опытный Аватар для Михан
    • Регистрация: 26.12.2010
    • Сообщений: 344
    • Записей в дневнике: 6
    • Репутация: -1
    А в сжатом виде карту сайта надо в robots.txt прописыватЬ? Sitemap: http://ruwinner.com/sitemap.xml.gz
    • 0
  7. Новичок
    • Регистрация: 27.10.2009
    • Сообщений: 16
    • Репутация: 16
    Afes, 2 ошибки.

    1. первой ставиться секция User-agent: *

    2. Вначале перечисляются все запреты (Disallow) и только потом всё остальное (Allow и тд).
    Прим. по сути Allow даже не надо, ибо всё что не запрещено - разрешено

    ну и яндексу тоже не мешает показать сайтмап

    Цитата Сообщение от Михан Посмотреть сообщение
    А в сжатом виде карту сайта надо в robots.txt прописыватЬ? Sitemap: http://ruwinner.com/sitemap.xml.gz
    Если она реально есть - не помешает.
    Последний раз редактировалось Slumlord; 22.03.2011 в 22:57.
    • 0
  8. Дипломник Аватар для MBN
    • Регистрация: 28.07.2010
    • Сообщений: 147
    • Репутация: 26
    Цитата Сообщение от Михан Посмотреть сообщение
    Оцените правильность robots.txt для WordPress, может стоит что-то добавить или что-то поменять?! :)
    User-agent: *
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /wp-content/languages
    Disallow: /trackback
    Disallow: /tag
    Disallow: /feed
    Disallow: /comments
    Disallow: /category/*/*
    Disallow: */trackback
    Disallow: */feed
    Disallow: */comments
    Disallow: /*?*
    Disallow: /*?
    Disallow: /?s=
    Disallow: /xmlrpc.php
    Allow: /wp-content/uploads
    Crawl-delay: 2
    Sitemap: http://ruwinner.com/sitemap.xml
    Sitemap: http://ruwinner.com/sitemap.xml.gz
    robots.txt по большому счету все поисковики давно уже обходят. этот файл изжил себя и использовать его нет смысла
    • 0
  9. Опытный Аватар для Rulik
    • Регистрация: 04.09.2009
    • Сообщений: 251
    • Репутация: 80
    Цитата Сообщение от Slumlord Посмотреть сообщение
    Потому что это яндекс. И плевать он хотел на других
    См сюда в первом же примере видим:

    Кроме того некоторые директивы (Host, например) понимает только яша.

    User-agent: * # не будет использована роботами Яндекса
    Потому, что ниже указано:

    User-agent: Yandex
    Если этой строчки нет, то "User-agent: *" учитывается.
    • 0
  10. Новичок
    • Регистрация: 27.10.2009
    • Сообщений: 16
    • Репутация: 16
    Цитата Сообщение от MBN Посмотреть сообщение
    robots.txt по большому счету все поисковики давно уже обходят. этот файл изжил себя и использовать его нет смысла
    Глупость и домыслы. Когда стандарты отменили?

    Цитата Сообщение от Rulik Посмотреть сообщение
    Если этой строчки нет, то "User-agent: *" учитывается.
    Должен. Но в реальности не всегда так (это по слухам, я сам с яшей не заморачиваюсь). Поэтому лучше перебдеть. Тем более, что у яши свои директивы имеются
    • 0
Страница 1 из 2 12 Последняя

Похожие темы

Темы Раздел Ответов Последний пост
Robots.txt
Обучающие статьи 12 30.06.2011 11:29
robots.txt
Вопросы от новичков 3 18.03.2011 15:03
robots.txt
Прочее 0 18.03.2011 10:44
dle robots.txt
Web программирование 3 08.01.2011 22:16
robots.txt для гугла
Google 20 22.10.2010 17:40

У кого попросить инвайт?

Вы можете попросить инвайт у любого модератора:

Информеры