[oksi]

В общем такая ситуация. У меня есть новый сайт, он был проиндексирован дня два назад, но почти сразу же все урл со статьями вылетели из индекса. В гугл вебмастерс пишется, что они заблокированы благодаря роботс.тхт.

Вот мой роботс:

User-agent: *
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /author/
Disallow: /tag/
Disallow: /feed/
Disallow: */feed
Disallow: */trackback
Disallow: */comments
Disallow: /*?
Disallow: /*?*
Disallow: /*.php
Disallow: /*page
Disallow: /2012
Disallow: /2013

User-agent: Mediapartners-Google
Disallow:

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /author/
Disallow: /tag/
Disallow: /feed/
Disallow: */feed
Disallow: */trackback
Disallow: */comments
Disallow: /*?
Disallow: /*?*
Disallow: /*.php
Disallow: /*page
Disallow: /2012
Disallow: /2013

Host: ............

Помогите, пожалуйста, разобраться

[Leonid1996]

Ходят слухи что лучше продвигать сайт без robots.txt(Если статистичные)

Уберите строки:
Disallow: /feed
Disallow: /*page
и все.

[Triple]

Скиньте пару ссылок на ваши статьи в личку. А так же рекомендую прочитать, что такое роботс и как он работает. Наверняка вы сами разберетесь.

[oksi]

Leonid1996, если без роботса, то дублей целая куча будет... блин, что и делать, странно это все

[zhigunov]

Попробуйте поставить вот такой роботс:

Код HTML:

User-agent: *  
Disallow: /wp-admin  
Disallow: /wp-includes  
Disallow: /wp-comments  
Disallow: /wp-content/plugins  
Disallow: /wp-content/themes  
Disallow: /wp-login.php  
Disallow: /wp-register.php  
Disallow: */trackback  
Disallow: */feed  
Disallow: /cgi-bin  
Disallow: *?s= 
  
Sitemap: http://САЙТ.ru/sitemap.xml

[Vooda2012]

Скажите а у вас ЧПУ прописаны на сайте? Или по дефолту отображение ссылок?

[oksi]

Vooda2012, чпу

[Vooda2012]

User-agent: Mediapartners-Google
Disallow:

Этим вы открываете доступ к страницам бота AdSense, но в его необходимо прописывать если вы хотите, чтобы страницы с объявлениями не показывались в поиске.
Попробуйте убрать эту строчку. А вообще я бы посоветовал набрать в ПС "правильный роботс для ВП" и посмотреть в ТОповых блогах, как делают Гуру.

[Leonid1996]

oksi, какие дубли будут, уважаемый?

[Vooda2012]

Leonid1996, приведите пожалуйста несколько экспертных мнений того, что сейчас лучше продвигаться без использования robots