[xilgiz]

До того, как создать эту тему, поискал в форуме. И вижу, что мнения не всегда совпадают.
Пока, совсем не понятно, так нужно для яндекса отдельную дерективу делать?
Стоит ли для простых сайтов с простой структурой делать карту?
Верно ли такое для Joomla?

PHP код:

User-agent: Yandex
Disallow: /index.php?*
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Host: _site.ru


User-agent: *
Disallow: /index.php?*
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/

Host: _site.ru 


Думаю, нужно сделать шаблоны стандартного robots.txt для каждой CMS.

[AntoXa]

Зачем? User-agent: * распространяется на все ПС, и на яндекс и на гугл. В этом нет необходимости, хотя может я и ошибаюсь...

[vetlik]

xilgiz,
на заморачивайтесь

Код HTML:

User-Agent: *
Allow: /
Host: site.ru

---------- Сообщение добавлено 02:52 ---------- Предыдущее 02:51 ----------

особенно меня умиляет попытка закрыть от индексации папку /installation/ :)

[Matsa]

Зачем? User-agent: * распространяется на все ПС, и на яндекс и на гугл. В этом нет необходимости, хотя может я и ошибаюсь...

затем что, робот сперва ищет свою секцию....а потом смотрит на то что находится в общей

Верно ли такое для Joomla?

посмотрите какие роботы на нормальных сайта, и от того отталкиваетесь

второй раз директиву host писать не надо, так как тока Яндекс её читает

[xilgiz]

особенно меня умиляет попытка закрыть от индексации папку /installation/

совсем загнался)))

А что насчет карты?

[En@n]

Да кстати карты сайта у Вас не прописано

[Denis Creative]

на заморачивайтесь

Предлагаю чуть усовершенствованный вариант:

Код:

User-Agent: *
Allow: /
Disallow: /*?*
Sitemap: site.ru/sitemap.xml
Host: site.ru

Зачем писать для каждого поисковика, если директивы одинаковые.
И еще частая ошибка - это разрывы строк - они ставятся только между директивами User-Agent: для разных роботов.

[Steel]

Тоже интересует данный вопрос, так нормально, чтобы для яши и гугла?

PHP код:

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Host: site.ru
Sitemap: http://site.ru/sitemap.xml 


[VadimPRO]

Disallow: /installation/ можно убрать... толку то от него...

[IceSkip]

VadimPRO,согласен, яша и гугл и так туда не заходят )