На днях случилось следующее: Яндекс проиндексировал главную страничку на новом домене. Без www. А с www главная была не в индексе, хотя в роботс следующая запись:
User-agent: Yandex
Crawl-delay: 5
Sitemap: http://www.домен.ru/sitemap.xml
Host: www.домен.ru
Подсказали что она не верна, поштудировал литературу и получилось так:
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-includes/
Allow: /wp-content/uploads
Disallow: /wp-content/
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: /tag
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Host: www.домен.ru
Crawl-delay: 1
Sitemap: http://www.домен.ru/sitemap.xml
Когда занимался роботсом - в панели вебмастера висело сообщение о том, что сайт не проиндексирован. Затем на след. день вылетела единственная проиндексированная страничка. Было это всё 27-28 июня.
- 17.08.2011 21:31
- Регистрация: 15.04.2011
- Сообщений: 120
- Репутация: 18
Последний раз редактировалось Regiontop; 17.08.2011 в 21:37.
- 17.08.2011 22:01
Странно - я зашел на сайт и нашел там 39 статей. О каких нескольких сотен текстов идет речь?
---------- Сообщение добавлено 19:15 ---------- Предыдущее 19:09 ----------
Дочитал ветку до конца. Даже для себя взял одну новую ссылочку для анализа доменов, за что отдельное спасибо. Надеюсь что с новым доменом все будет ОК, чего и желаю.
Похожие темы
Темы | Раздел | Ответов | Последний пост |
---|---|---|---|
Спектр – новая технология Яндекса | Дайджест блогосферы | 6 | 16.12.2010 22:14 |
Платформа для создания хостинга блогов | Софт, скрипты, сервисы | 8 | 20.02.2010 23:10 |