[contrast]

Слеши добавляются для того, чтобы запретить именно пути, состоящие из названий папок, хранящихся на сервере. Без слешей запрещаться будет просто упоминание слова в адресной строке, может когда-нибудь не проиндексировать какую-нибудь нужную страницу по ошибке.

http://www.yandex.ru/robots.txt
http://www.google.ru/robots.txt

[saiiika2010]

olegf13 итак, robots.txt сделать так как Вы показали.
А вот насчет 301 редиректа не совсем понял в какое именно место файла .htaccess вставлять
Вот что написано в моем фале .htaccess :

Код:

##
# @version $Id: htaccess.txt 10492 2008-07-02 06:38:28Z ircmaxell $
# @package Joomla RE
# @localized Авторские права (C) 2005 - 2009 Joom.Ru - Русский дом Joomla! Все права защищены.
# @copyright Авторские права (C) 2005 - 2008 Open Source Matters. Все права защищены.
# @license http://www.gnu.org/copyleft/gpl.html GNU/GPL
# Joomla! - свободное программное обеспечение.
##
# -----------------======= ВНИМАНИЕ!!! =======----------------------------
# ------- ОБЯЗАТЕЛЬНО УСТАНОВИТЕ CHMOD 444 НА ЭТОТ ФАЙЛ ------------------


#####################################################
#  ПРОЧТИТЕ ПОЛНОСТЬЮ, ЕСЛИ БУДЕТЕ ИСПОЛЬЗОВАТЬ ЭТОТ ФАЙЛ
#
# Строка ниже этого раздела: 'Options +FollowSymLinks' может вызвать проблему
# при некоторых конфигурациях сервера. Она необходима для использования модуля
# Apache mod_rewrite, но может быть уже настроена администратором вашего
# сервера и изменение этого параметра в .htaccess может быть запрещено.
# Если эта директива вызывает ошибку сервера, то закомментируйте строку
# (добавьте символ # в начало строки), перезагрузите в браузере сайт и
# протестируйте работу SEF-ссылок. Если они работают, то вам не надо ничего
# менять здесь, т.к. всё уже настроено администратором сервера.
#
# Строки, которые можно раскомментирвать (и использовать) имеют только один #.
# Строки с двумя символами ## раскомментировать не надо. В разделах, которые вы
# не используете, все строки должны начинаться с символа #
#
#####################################################

##  Может быть закомментировано, если вызывает ошибку сервера. Смотрите примечания выше.
Options +FollowSymLinks

#
#  Включение mod_rewrite

RewriteEngine On

########## Начало - Правила обработки запросов для блокировки распространенных эксплоитов
## Если у вас возникли проблемы с вашим сайтом, используйте ниже описанные операции
## Они пытаются заблокировать самые распространенные эксплоиты Joomla!
#
# Блокировать любой запрос, пытающийся установить значение mosConfig через URL
RewriteCond %{QUERY_STRING} mosConfig_[a-zA-Z_]{1,21}(=|\%3D) [OR]
# Блокировать любой запрос, пытающийся испортить base64_encode через URL
RewriteCond %{QUERY_STRING} base64_encode.*\(.*\) [OR]
# Блокировать любой запрос, содержащий тег <script> в URL
RewriteCond %{QUERY_STRING} (\<|%3C).*script.*(\>|%3E) [NC,OR]
# Блокировать любой запрос, пытающийся установить значение глобальных переменных PHP через URL
RewriteCond %{QUERY_STRING} GLOBALS(=|\[|\%[0-9A-Z]{0,2}) [OR]
# Блокировать любой запрос, пытающийся изменить _REQUEST переменную через URL
RewriteCond %{QUERY_STRING} _REQUEST(=|\[|\%[0-9A-Z]{0,2})
# Перенаправлять заблокированные запросы на страницу 403 с запрещенными ошибками!
RewriteRule ^(.*)$ index.php [F,L]
#
########## Конец правил обработки (Rewrite rules) для блокировки распространенных эксплоитов

#  Раскомментируйте следующую строку, если URL вашего web-сервера
#  не связаны напрямую с физическими путями файлов.
#  Обновите ваш каталог Joomla (используйте "/" для обозначения корня сервера)

# RewriteBase /


########## Начало раздела SEF ядра Joomla!
#
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteCond %{REQUEST_URI} !^/index.php
RewriteCond %{REQUEST_URI} (/|\.php|\.html|\.htm|\.feed|\.pdf|\.raw|/[^.]*)$  [NC]
RewriteRule (.*) index.php
RewriteRule .* - [E=HTTP_AUTHORIZATION:%{HTTP:Authorization},L]
#
########## Конец раздела SEF ядра Joomla!

[olegf13]

А вот насчет 301 редиректа не совсем понял в какое именно место файла .htaccess вставлять

Там, где у Вас в файле написана строка "RewriteEngine On", сразу после неё вставляйте:

Код:

RewriteCond %{HTTP_HOST} ^www.delayzarabotok.ru\.ru$ [NC]
RewriteRule ^(.*)$ http://delayzarabotok.ru/$1 [R=301,L]

После этого проверьте следующим образом: зайдите на сайт по адресу www.delayzarabotok.ru, Вас должно автоматически перекинуть на delayzarabotok.ru (без www).

[MacLeo]

Немного не пойму, зачем сколько мучатся с этим search и спорить насчет него, если можно сделать

Disallow:/component/

и эффект будет тот же?

[kerya82]

Да успокойтесь вы с этим 301 редиректом, он нужен когда сайт с домена на домен переносите. Если есть желание,то пропишите, а так пользуйтесь лучше в постах почаще <link rel="canonical" href="/" />, тогда поисковики точно будут знать какая страница основная и что все остальные с этим текстом дубли. Это гораздо лучше и полезнее 301 редиректа.