На днях случилось следующее: Яндекс проиндексировал главную страничку на новом домене. Без www. А с www главная была не в индексе, хотя в роботс следующая запись:

User-agent: Yandex
Crawl-delay: 5

Sitemap: http://www.домен.ru/sitemap.xml
Host: www.домен.ru

Подсказали что она не верна, поштудировал литературу и получилось так:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-includes/
Allow: /wp-content/uploads
Disallow: /wp-content/
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: /tag
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Host: www.домен.ru
Crawl-delay: 1
Sitemap: http://www.домен.ru/sitemap.xml

Когда занимался роботсом - в панели вебмастера висело сообщение о том, что сайт не проиндексирован. Затем на след. день вылетела единственная проиндексированная страничка. Было это всё 27-28 июня.