Советую использовать такой robots.txt для WordPress
Развернуть текст
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: www.sayt.ru
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Sitemap: http://sayt.ru/sitemap.xml[свернуть]
Просто заменяйте sayt.ru на Ваш url сайта
- 11.08.2011 12:52
- Регистрация: 02.08.2011
- Сообщений: 126
- Репутация: 4
- 11.08.2011 16:57
Демиург, а внешние ссылки проставлять/покупать не пробывали ?
- 11.08.2011 18:25
- 12.08.2011 18:48
- Регистрация: 24.09.2009
- Сообщений: 30
- Репутация: 10
у меня у самого яндекс уже месяц не может сожрать все страницы сайта (роботс и сайтмэп есть), так что тут ничего удивительного. В то время как гугл съел весь сайт полностью.
Тэги топика:
Похожие темы
Темы | Раздел | Ответов | Последний пост |
---|---|---|---|
Яндекс начал индексировать ссылки с Контакта | Поисковые системы | 24 | 28.08.2011 12:17 |
Яндекс.Вебмастер где страницы? | Вопросы от новичков | 3 | 01.07.2011 17:17 |
Как заставить Яндекс индексировать картинки? | Поисковые системы | 8 | 08.02.2011 21:31 |
Яндекс перестал учитывать новые блоги! Глюк? | Дайджест блогосферы | 3 | 22.07.2010 18:45 |