[zhigunov]

Надо продвигаться с роботс обязательно, Яндекс и Гугл сами об этом пишут. Просто роботс надо составлять правильно, а если вы в этом вопросе не разбираетесь, лучше просто взять шаблонный, проверенный временем и советуемый многими сеошниками (такой я привел выше, но можно еще поискать).

[Leonid1996]

Vooda2012,
Можно обойтись и без робот.тхт
Робот.тхт в основном нужен для запретов.
При отсутствии этого файла поисковик заглядывает во все файлы и папки. Если вас не смущают квоты поисковых систем на индексацию файлов, и сообщения об ошибках в логах, то можете не вспоминать про этот файл.
Продвигать лучше статистичный сайт без robots.txt , это не факт, но ходили слухи.
Единственный минус, что не будет карты сайта.
Для его блога или что там у него, я предложил как вариант.

[Vooda2012]

Leonid1996, Что-то я совсем запутался. Причем тут статический сайт? У ТСа вроде WP, над которым он работает.
Почему карты не будет-то? Есть масса плагинов, которые генерируют карту сайта, которую после можно загрузить в панели вебмастера в обоих ПС.

[Leonid1996]

Vooda2012, На счет WP , роботс конечно же нужен, прошу прощение если не правильно поняли.

[oksi]

Leonid1996, во-первых, уважаемая. Во-вторых, зачем советуете, если про дубли даже не в курсе?

[kirf]

Если покажете ваш сайт, я скажу вам, в чем у вас проблема, а так гадать неинтересно.

Но могу посоветовать сходить сюда: http://webmaster.yandex.ru/robots.xml

Загрузите свой роботс, по очереди убирайте строки и внизу пробуйте добавить страницы сайта и смотрите, что пишет яндекс про запреты индексации.

Если, у вас, впрочем, чпу с .php на конце, тогда очевидно, а так - ищите...

Кстати, три строки роботса
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
можно заменить на Disallow: /wp-content

А Disallow: /*?* просто удалить...

В общем, вам полезно почитать help яндекса, честное слово.

[MacLeo]

oksi, покажите сайт, или хотя бы вид ссылок на статьи. Без этого все равно никто ничего точно не скажет.

[pyramida]

это не факт, но ходили слухи.

Не верте слухам.

---------- Сообщение добавлено 04:34 ---------- Предыдущее 04:32 ----------

oksi, в инструментах ВМТ панели есть проверка роботс воспользуйтесь. Хороший вариант предложили с установкой стандартного файла. Воспользуйтесь.

[lpixel]

Disallow: /*page

это страницы их индексировать не надо появятся дубли

[Leonid1996]

lpixel,мда