Оцените правильность robots.txt для WordPress, может стоит что-то добавить или что-то поменять?! :)
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-content/languages
Disallow: /trackback
Disallow: /tag
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /?s=
Disallow: /xmlrpc.php
Allow: /wp-content/uploads
Crawl-delay: 2
Sitemap: http://ruwinner.com/sitemap.xml
Sitemap: http://ruwinner.com/sitemap.xml.gz
- 20.03.2011 02:01
Последний раз редактировалось Михан; 20.03.2011 в 02:04.
- 0
- 22.03.2011 14:57Новичок
- Регистрация: 27.10.2009
- Сообщений: 16
- Репутация: 16
Если под яндекс - для него отдельную секцию надо.
Совет. Найти хорошо (и качественно) проиндексированные (всеми ПС) блоги на ВП и посмотри их роботс- 0
- 22.03.2011 15:59Опытный
- Регистрация: 04.09.2009
- Сообщений: 251
- Репутация: 80
Зачем отдельная секция под яндекс?
Сообщение от Slumlord 
- 0
- 22.03.2011 18:53Новичок
- Регистрация: 27.10.2009
- Сообщений: 16
- Репутация: 16
Потому что это яндекс. И плевать он хотел на других Сообщение от Rulik 
См сюда в первом же примере видим:
Кроме того некоторые директивы (Host, например) понимает только яша.User-agent: * # не будет использована роботами ЯндексаПоследний раз редактировалось Slumlord; 22.03.2011 в 18:56.
- 0
- 22.03.2011 22:30
Для сайта я составил вот такой файл robots.txt. Как уже выше говорилось для Яндекса нужна отдельная секция.
User-agent: Yandex
Allow: /wp-content/uploads/
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /tag
Disallow: /archive
Disallow: /author
Disallow: /category
Disallow: /page
Disallow: */page/
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /?s=
Host: site.ru
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /tag
Disallow: /archive
Disallow: /author
Disallow: /category
Disallow: /page
Disallow: */page/
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /?s=
Allow: /wp-content/uploads/
Sitemap: http://site.ru/sitemap.xmlПоследний раз редактировалось Afes; 22.03.2011 в 22:32.
- 1
Спасибо сказали:
Михан(22.03.2011), - 22.03.2011 22:48
А в сжатом виде карту сайта надо в robots.txt прописыватЬ? Sitemap: http://ruwinner.com/sitemap.xml.gz
- 0
- 22.03.2011 22:49Новичок
- Регистрация: 27.10.2009
- Сообщений: 16
- Репутация: 16
Afes, 2 ошибки.
1. первой ставиться секция User-agent: *
2. Вначале перечисляются все запреты (Disallow) и только потом всё остальное (Allow и тд).
Прим. по сути Allow даже не надо, ибо всё что не запрещено - разрешено
ну и яндексу тоже не мешает показать сайтмап
Если она реально есть - не помешает. Сообщение от Михан Последний раз редактировалось Slumlord; 22.03.2011 в 22:57.
- 0
- 23.03.2011 06:39Дипломник
- Регистрация: 28.07.2010
- Сообщений: 147
- Репутация: 26
robots.txt по большому счету все поисковики давно уже обходят. этот файл изжил себя и использовать его нет смысла Сообщение от Михан - 0
- 23.03.2011 15:38Опытный
- Регистрация: 04.09.2009
- Сообщений: 251
- Репутация: 80
Сообщение от Slumlord Потому что это яндекс. И плевать он хотел на других
См сюда в первом же примере видим:
Кроме того некоторые директивы (Host, например) понимает только яша.Потому, что ниже указано:User-agent: * # не будет использована роботами Яндекса
Если этой строчки нет, то "User-agent: *" учитывается.User-agent: Yandex- 0
- 23.03.2011 15:49Новичок
- Регистрация: 27.10.2009
- Сообщений: 16
- Репутация: 16
Глупость и домыслы. Когда стандарты отменили? Сообщение от MBN
Должен. Но в реальности не всегда так (это по слухам, я сам с яшей не заморачиваюсь). Поэтому лучше перебдеть. Тем более, что у яши свои директивы имеются Сообщение от Rulik - 0
Тэги топика:
- ----------,
- archive,
- author,
- category,
- cgi-bin,
- comments,
- disallow,
- host,
- page,
- robots,
- robots.txt,
- ruwinner,
- site,
- sitemap,
- trackback,
- uploads,
- user-agent,
- wordpress,
- wp-admin,
- wp-content,
- wp-includes,
- wp-login,
- wp-register,
- вначале,
- всегда,
- директива,
- запрет,
- запретить,
- мешать,
- надо,
- оценить,
- ошибка,
- первый,
- перечисляться,
- показать,
- потом,
- правильность,
- прима,
- пример,
- разрешить,
- сайтмап,
- секция,
- ставиться,
- суть,
- тоже,
- что-то,
- яндекс
Похожие темы
| Темы | Раздел | Ответов | Последний пост |
|---|---|---|---|
Robots.txt | Обучающие статьи | 12 | 30.06.2011 10:29 |
robots.txt | Вопросы от новичков | 3 | 18.03.2011 15:03 |
robots.txt | Прочее | 0 | 18.03.2011 10:44 |
dle robots.txt | Web программирование | 3 | 08.01.2011 22:16 |
robots.txt для гугла | 20 | 22.10.2010 16:40 |
addurl adsense google instagram proxy vkontakte wp-login youtube zennoposter аккаунт бесплатно бесплатный блог быть витрина вконтакт вопрос гугл данный добавить домен есть запрос кейс ключ купить магазин можно новый отзыв парсер партнёрка первый плагин поинтовый порно портал продажа работа работать сайт сделать скрипт создание софт ссылка стать статья стоимость тариф текст тема товар трафик услуга форум хотеть цель цена шаблон
Тем:
77,525Сообщений:
762,120Пользователей:
30,079Сейчас на сайте:
0 пользователей и 149 гостей
