Проблема с роботс, прошу помощи

(Ответов: 21, Просмотров: 1028)
Страница 1 из 3 123 Последняя
  1. Новичок
    • Регистрация: 08.03.2013
    • Сообщений: 28
    • Репутация: 0
    В общем такая ситуация. У меня есть новый сайт, он был проиндексирован дня два назад, но почти сразу же все урл со статьями вылетели из индекса. В гугл вебмастерс пишется, что они заблокированы благодаря роботс.тхт.

    Вот мой роботс:

    User-agent: *
    Disallow: /wp-content/plugins/
    Disallow: /wp-content/cache/
    Disallow: /wp-content/themes/
    Disallow: /wp-trackback
    Disallow: /wp-feed
    Disallow: /wp-comments
    Disallow: /author/
    Disallow: /tag/
    Disallow: /feed/
    Disallow: */feed
    Disallow: */trackback
    Disallow: */comments
    Disallow: /*?
    Disallow: /*?*
    Disallow: /*.php
    Disallow: /*page
    Disallow: /2012
    Disallow: /2013

    User-agent: Mediapartners-Google
    Disallow:

    User-agent: Yandex
    Disallow: /cgi-bin
    Disallow: /wp-admin/
    Disallow: /wp-includes/
    Disallow: /wp-content/plugins/
    Disallow: /wp-content/cache/
    Disallow: /wp-content/themes/
    Disallow: /wp-trackback
    Disallow: /wp-feed
    Disallow: /wp-comments
    Disallow: /author/
    Disallow: /tag/
    Disallow: /feed/
    Disallow: */feed
    Disallow: */trackback
    Disallow: */comments
    Disallow: /*?
    Disallow: /*?*
    Disallow: /*.php
    Disallow: /*page
    Disallow: /2012
    Disallow: /2013

    Host: ............

    Помогите, пожалуйста, разобраться
    • 0
  2. Banned
    • Регистрация: 12.03.2013
    • Сообщений: 132
    • Репутация: 11
    • Webmoney BL: ?
    Ходят слухи что лучше продвигать сайт без robots.txt(Если статистичные)

    Уберите строки:
    Disallow: /feed
    Disallow: /*page
    и все.
    Последний раз редактировалось Leonid1996; 16.06.2013 в 23:26.
    • 0

    Спасибо сказали:

    Alexey_andr(17.06.2013),
  3. Опытный Аватар для Triple
    • Регистрация: 17.02.2012
    • Сообщений: 445
    • Репутация: 163
    • Webmoney BL: ?
    Скиньте пару ссылок на ваши статьи в личку. А так же рекомендую прочитать, что такое роботс и как он работает. Наверняка вы сами разберетесь.
    • 0
  4. Новичок
    • Регистрация: 08.03.2013
    • Сообщений: 28
    • Репутация: 0
    Leonid1996, если без роботса, то дублей целая куча будет... блин, что и делать, странно это все
    • 0
  5. Студент Аватар для zhigunov
    • Регистрация: 06.06.2013
    • Сообщений: 37
    • Репутация: 10
    Попробуйте поставить вот такой роботс:
    Код HTML:
    User-agent: *  
    Disallow: /wp-admin  
    Disallow: /wp-includes  
    Disallow: /wp-comments  
    Disallow: /wp-content/plugins  
    Disallow: /wp-content/themes  
    Disallow: /wp-login.php  
    Disallow: /wp-register.php  
    Disallow: */trackback  
    Disallow: */feed  
    Disallow: /cgi-bin  
    Disallow: *?s= 
      
    Sitemap: http://САЙТ.ru/sitemap.xml
    • 1

    Спасибо сказали:

    oksi(17.06.2013),
  6. Гуру Аватар для Vooda2012
    • Регистрация: 16.05.2012
    • Сообщений: 524
    • Репутация: 156
    Скажите а у вас ЧПУ прописаны на сайте? Или по дефолту отображение ссылок?
    • 0
  7. Новичок
    • Регистрация: 08.03.2013
    • Сообщений: 28
    • Репутация: 0
    Vooda2012, чпу
    • 0
  8. Гуру Аватар для Vooda2012
    • Регистрация: 16.05.2012
    • Сообщений: 524
    • Репутация: 156
    User-agent: Mediapartners-Google
    Disallow:

    Этим вы открываете доступ к страницам бота AdSense, но в его необходимо прописывать если вы хотите, чтобы страницы с объявлениями не показывались в поиске.
    Попробуйте убрать эту строчку. А вообще я бы посоветовал набрать в ПС "правильный роботс для ВП" и посмотреть в ТОповых блогах, как делают Гуру.
    • 1

    Спасибо сказали:

    oksi(17.06.2013),
  9. Banned
    • Регистрация: 12.03.2013
    • Сообщений: 132
    • Репутация: 11
    • Webmoney BL: ?
    oksi, какие дубли будут, уважаемый?
    • 0
  10. Гуру Аватар для Vooda2012
    • Регистрация: 16.05.2012
    • Сообщений: 524
    • Репутация: 156
    Leonid1996, приведите пожалуйста несколько экспертных мнений того, что сейчас лучше продвигаться без использования robots
    • 0
Страница 1 из 3 123 Последняя

Похожие темы

Темы Раздел Ответов Последний пост
Прошу помощи при восстановлений данных
Безопасность в сети 9 15.08.2012 16:13
Прошу помощи у знающих движок DLE
Прочее 8 13.01.2012 01:02
Прошу помощи с WordPress
Web программирование 3 21.12.2011 05:55
Прошу помощи с кодировками в бд
Web программирование 13 16.12.2011 04:11
Прошу помощи с CSS!!!
Web программирование 8 09.03.2011 00:54

У кого попросить инвайт?

Вы можете попросить инвайт у любого модератора:

Информеры