Как поиск закрыть от индексации

(Ответов: 14, Просмотров: 6699)
Страница 1 из 2 12 Последняя
  1. Дипломник Аватар для saiiika2010
    • Регистрация: 16.08.2011
    • Сообщений: 100
    • Репутация: -8
    На одном моем сайте на Joomla постоянно индексируются ссылки с выдачи поиска.
    Например: выдача в поиске по слову"трафик" - в индексе вот такая страница

    http://delayzarabotok.ru/component/s...rdering=newest

    Другой пример: Выдача в поиске по слову "Биржа" - в индексе вот такая страница

    http://delayzarabotok.ru/component/s...rdering=newest

    Закрыть именно эту страницу в robots.txt я могу. Но спустя некоторое время в индекс попадают страницы с выдачи поиска по другим словам. Поэтому мне нужно закрыть от индексации сам ПОИСК. Но я не знаю как. Помогите, ребят
    • 0
  2. Дипломник Аватар для AntonMarin
    • Регистрация: 05.08.2011
    • Сообщений: 107
    • Репутация: 9
    в файле robots.txt следующую строчку:

    Disallow: /search/
    • 1

    Спасибо сказали:

    saiiika2010(18.08.2011),
  3. Работаю с Joomla Аватар для contrast
    • Регистрация: 16.04.2011
    • Сообщений: 107
    • Репутация: 22
    • Webmoney BL: ?
    Лучше будет если напишите ее так:
    Disallow: */search/
    • 1

    Спасибо сказали:

    saiiika2010(18.08.2011),
  4. Дипломник Аватар для AntonMarin
    • Регистрация: 05.08.2011
    • Сообщений: 107
    • Репутация: 9
    contrast, расскажи зачем звездочка?
    • 1

    Спасибо сказали:

    saiiika2010(18.08.2011),
  5. Работаю с Joomla Аватар для contrast
    • Регистрация: 16.04.2011
    • Сообщений: 107
    • Репутация: 22
    • Webmoney BL: ?
    Кошмар, вы хоть заглядывали в ваш файл robots.txt?
    Он похож сейчас на настоящую мусорку.

    Оставьте в нем только следующие строки:
    Код HTML:
    User-agent: *
    Disallow: /administrator/
    Disallow: /cache/
    Disallow: /components/
    Disallow: /images/
    Disallow: /includes/
    Disallow: /installation/
    Disallow: /language/
    Disallow: /libraries/
    Disallow: /media/
    Disallow: /modules/
    Disallow: /plugins/
    Disallow: /templates/
    Disallow: /tmp/
    Disallow: /xmlrpc/
    Disallow: *comprofiler
    Disallow: /o-saite/
    Disallow: /raskrutka-saita/
    Disallow: /web-dengi/
    Disallow: /kontakti/
    Disallow: *mailto
    Disallow: /seo/9/
    Disallow: *search
    Disallow: /ob-avtore/10-webmoney/
    Disallow: *?start
    
    Host: delayzarabotok.ru
    Все остальные строки являются дублями приведенных мной.

    Цитата Сообщение от AntonMarin Посмотреть сообщение
    contrast, расскажи зачем звездочка?
    Потому что строка:
    Disallow: /search/
    Не запретит индексацию ссылки вида:
    /component/search/
    А строка:
    Disallow: */search/
    ее индексацию запретит.
    Последний раз редактировалось contrast; 18.08.2011 в 04:02. Причина: исправил код
    • 1

    Спасибо сказали:

    saiiika2010(18.08.2011),
  6. Дипломник
    • Регистрация: 22.04.2011
    • Сообщений: 126
    • Репутация: 15
    Так Вы правильно и не сделали:
    Вместо того, что у Вас написано - Disallow: *search напишите Disallow: */search/.
    А то сейчас у Вас закрыты от индексации все страницы, в которых встречается слово "search", к примеру такая страница - http://delayzarabotok.ru/how-to-search-dofollow-links будет тоже закрыта от индексации.

    P.S.: Также советую Вам поставить редирект с www.delayzarabotok.ru на delayzarabotok.ru и затем дописать в robots.txt отдельную часть для User-agent: Yandex и добавить директиву Host.
    • 0
  7. Дипломник Аватар для saiiika2010
    • Регистрация: 16.08.2011
    • Сообщений: 100
    • Репутация: -8
    Надеюсь сейчас все правильно?

    PHP код:
    User-agent: *
    Disallow: /administrator/
    Disallow: /cache/
    Disallow: /components/
    Disallow: /images/
    Disallow: /includes/
    Disallow: /installation/
    Disallow: /language/
    Disallow: /libraries/
    Disallow: /media/
    Disallow: /modules/
    Disallow: /plugins/
    Disallow: /templates/
    Disallow: /tmp/
    Disallow: /xmlrpc/
    Disallow: */comprofiler/
    Disallow: /o-saite/
    Disallow: /raskrutka-saita/
    Disallow: /web-dengi/
    Disallow: /kontakti/
    Disallow: */mailto/
    Disallow: /seo/9/
    Disallow: */search/
    Disallow: /ob-avtore/10-webmoney/
    Disallow: */?start
    • 0
  8. Дипломник
    • Регистрация: 22.04.2011
    • Сообщений: 126
    • Репутация: 15
    Вы читали моё сообщение выше ?

    Во-первых, Вам нужно добавить в файл .htaccess следующие строки (установит 301-й редирект с домена с www на домен без www):
    Код:
    Options +FollowSymLinks
    RewriteEngine On
    RewriteCond %{HTTP_HOST} ^www.delayzarabotok.ru\.ru$ [NC]
    RewriteRule ^(.*)$ http://delayzarabotok.ru/$1 [R=301,L]
    Во-вторых, файл robots.txt будет выглядеть следующим образом:
    Код:
    User-agent: *
    Disallow: /administrator/
    Disallow: /cache/
    Disallow: /components/
    Disallow: /images/
    Disallow: /includes/
    Disallow: /installation/
    Disallow: /language/
    Disallow: /libraries/
    Disallow: /media/
    Disallow: /modules/
    Disallow: /plugins/
    Disallow: /templates/
    Disallow: /tmp/
    Disallow: /xmlrpc/
    Disallow: */comprofiler/
    Disallow: /o-saite/
    Disallow: /raskrutka-saita/
    Disallow: /web-dengi/
    Disallow: /kontakti/
    Disallow: */mailto/
    Disallow: /seo/9/
    Disallow: */search/
    Disallow: /ob-avtore/10-webmoney/
    Disallow: */?start/ 
    
    User-agent: Yandex
    Disallow: /administrator/
    Disallow: /cache/
    Disallow: /components/
    Disallow: /images/
    Disallow: /includes/
    Disallow: /installation/
    Disallow: /language/
    Disallow: /libraries/
    Disallow: /media/
    Disallow: /modules/
    Disallow: /plugins/
    Disallow: /templates/
    Disallow: /tmp/
    Disallow: /xmlrpc/
    Disallow: */comprofiler/
    Disallow: /o-saite/
    Disallow: /raskrutka-saita/
    Disallow: /web-dengi/
    Disallow: /kontakti/
    Disallow: */mailto/
    Disallow: /seo/9/
    Disallow: */search/
    Disallow: /ob-avtore/10-webmoney/
    Disallow: */?start/ 
    Host: delayzarabotok.ru
    • 0
  9. Работаю с Joomla Аватар для contrast
    • Регистрация: 16.04.2011
    • Сообщений: 107
    • Репутация: 22
    • Webmoney BL: ?
    Цитата Сообщение от saiiika2010 Посмотреть сообщение
    Надеюсь сейчас все правильно?
    Неправильно, для чего слеши добавлять в эти строки, что вы хотите роботам сказать этими строками?:
    Disallow: */?start/
    Disallow: */comprofiler/
    Disallow: */mailto/

    P.S. Оставьте в файле robots.txt только те строки, действие которых вам хорошо известно.

    Почитайте все-таки мануалы по файлу robots.txt:
    http://help.yandex.ru/webmaster/?id=996567
    http://robotstxt.org.ru/

    И исходя из прочитанного настраивайте ваш файл robots.txt по своему усмотрению.
    Последний раз редактировалось contrast; 18.08.2011 в 21:06.
    • 0
  10. Дипломник
    • Регистрация: 22.04.2011
    • Сообщений: 126
    • Репутация: 15
    Цитата Сообщение от contrast Посмотреть сообщение
    Неправильно, для чего слеши добавлять в эти строки, что вы хотите роботам сказать этими строками?
    Слеши добавляются для того, чтобы запретить именно пути, состоящие из названий папок, хранящихся на сервере. Без слешей запрещаться будет просто упоминание слова в адресной строке, может когда-нибудь не проиндексировать какую-нибудь нужную страницу по ошибке.
    • 0
Страница 1 из 2 12 Последняя

Похожие темы

Темы Раздел Ответов Последний пост
Закрыть от индексации страницу
Общие вопросы поисковой оптимизации 47 13.11.2011 12:28
Как закрыть в комментах ссылки на сайт от индексации поисковиков
Блоги 15 24.09.2010 23:32

У кого попросить инвайт?

Вы можете попросить инвайт у любого модератора:

Информеры