[saiiika2010]

На одном моем сайте на Joomla постоянно индексируются ссылки с выдачи поиска.
Например: выдача в поиске по слову"трафик" - в индексе вот такая страница

http://delayzarabotok.ru/component/s...rdering=newest

Другой пример: Выдача в поиске по слову "Биржа" - в индексе вот такая страница

http://delayzarabotok.ru/component/s...rdering=newest

Закрыть именно эту страницу в robots.txt я могу. Но спустя некоторое время в индекс попадают страницы с выдачи поиска по другим словам. Поэтому мне нужно закрыть от индексации сам ПОИСК. Но я не знаю как. Помогите, ребят

[AntonMarin]

в файле robots.txt следующую строчку:

Disallow: /search/

[contrast]

Лучше будет если напишите ее так:
Disallow: */search/

[AntonMarin]

contrast, расскажи зачем звездочка?

[contrast]

Кошмар, вы хоть заглядывали в ваш файл robots.txt?
Он похож сейчас на настоящую мусорку.

Оставьте в нем только следующие строки:

Код HTML:

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: *comprofiler
Disallow: /o-saite/
Disallow: /raskrutka-saita/
Disallow: /web-dengi/
Disallow: /kontakti/
Disallow: *mailto
Disallow: /seo/9/
Disallow: *search
Disallow: /ob-avtore/10-webmoney/
Disallow: *?start

Host: delayzarabotok.ru

Все остальные строки являются дублями приведенных мной.

contrast, расскажи зачем звездочка?

Потому что строка:
Disallow: /search/
Не запретит индексацию ссылки вида:
/component/search/
А строка:
Disallow: */search/
ее индексацию запретит.

[olegf13]

Так Вы правильно и не сделали:
Вместо того, что у Вас написано - Disallow: *search напишите Disallow: */search/.
А то сейчас у Вас закрыты от индексации все страницы, в которых встречается слово "search", к примеру такая страница - http://delayzarabotok.ru/how-to-search-dofollow-links будет тоже закрыта от индексации.

P.S.: Также советую Вам поставить редирект с www.delayzarabotok.ru на delayzarabotok.ru и затем дописать в robots.txt отдельную часть для User-agent: Yandex и добавить директиву Host.

[saiiika2010]

Надеюсь сейчас все правильно?

PHP код:

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: */comprofiler/
Disallow: /o-saite/
Disallow: /raskrutka-saita/
Disallow: /web-dengi/
Disallow: /kontakti/
Disallow: */mailto/
Disallow: /seo/9/
Disallow: */search/
Disallow: /ob-avtore/10-webmoney/
Disallow: */?start/ 


[olegf13]

Вы читали моё сообщение выше ?

Во-первых, Вам нужно добавить в файл .htaccess следующие строки (установит 301-й редирект с домена с www на домен без www):

Код:

Options +FollowSymLinks
RewriteEngine On
RewriteCond %{HTTP_HOST} ^www.delayzarabotok.ru\.ru$ [NC]
RewriteRule ^(.*)$ http://delayzarabotok.ru/$1 [R=301,L]

Во-вторых, файл robots.txt будет выглядеть следующим образом:

Код:

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: */comprofiler/
Disallow: /o-saite/
Disallow: /raskrutka-saita/
Disallow: /web-dengi/
Disallow: /kontakti/
Disallow: */mailto/
Disallow: /seo/9/
Disallow: */search/
Disallow: /ob-avtore/10-webmoney/
Disallow: */?start/ 

User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: */comprofiler/
Disallow: /o-saite/
Disallow: /raskrutka-saita/
Disallow: /web-dengi/
Disallow: /kontakti/
Disallow: */mailto/
Disallow: /seo/9/
Disallow: */search/
Disallow: /ob-avtore/10-webmoney/
Disallow: */?start/ 
Host: delayzarabotok.ru

[contrast]

Надеюсь сейчас все правильно?

Неправильно, для чего слеши добавлять в эти строки, что вы хотите роботам сказать этими строками?:
Disallow: */?start/
Disallow: */comprofiler/
Disallow: */mailto/

P.S. Оставьте в файле robots.txt только те строки, действие которых вам хорошо известно.

Почитайте все-таки мануалы по файлу robots.txt:
http://help.yandex.ru/webmaster/?id=996567
http://robotstxt.org.ru/

И исходя из прочитанного настраивайте ваш файл robots.txt по своему усмотрению.

[olegf13]

Неправильно, для чего слеши добавлять в эти строки, что вы хотите роботам сказать этими строками?

Слеши добавляются для того, чтобы запретить именно пути, состоящие из названий папок, хранящихся на сервере. Без слешей запрещаться будет просто упоминание слова в адресной строке, может когда-нибудь не проиндексировать какую-нибудь нужную страницу по ошибке.