[xilgiz]

Disallow: /installation/ можно убрать... толку то от него...

Конечно нет, просто случайно... В принципе, после установки движка, его надо удалять.

Насчет карты у меня другой вопрос.
Нужен ли он, если сайт всего из нескольких страниц, и вложенность страниц не более 2го уровня?
Как я помню, он же нужен для того, чтобы робт видел структуру сайта, все страницы. А если мало страниц, зачем заморачиваться? я правильно рассуждаю?

И мнение насчет прописывания для каждого поисковика опять разошлись

[Denis Creative]

Как я помню, он же нужен для того, чтобы робт видел структуру сайта, все страницы. А если мало страниц, зачем заморачиваться? я правильно рассуждаю?

Google сказал, что карта сайта не нужна, и так нормально всё проиндексируется, но я думаю, лишней не будет, это ведь конкретный список страниц для индексации.

И мнение насчет прописывания для каждого поисковика опять разошлись

Если инструкции одинаковы для любых роботов, то можно оставить одну общую User-agent: * , а если для разных роботов пишете разные Crawl-delay:, или папки с картинками для определенных роботов открываете, или какие конкретные инструкции, то для каждого робота пишите нужные для него инструкции...

[xilgiz]

Обновляя тему, вопрос :
Карта сайта предотвращает появление дублей?
т.е. если я прописал карту сайта, то роботы будут смотреть только те страницы, которые там указаны, или еще лазить будут?

[Alt_SM]

xilgiz, Нет. Карта сайта по сути это список страниц, которые отдаются роботу, чтобы он их не забыл проиндексировать.

P.S. Иногда они забывают....

[Textoslov]

Тоже придерживаюсь такого варианта:
User-Agent: *

То, что гугл не знает, будет просто игнорировать, то, что не знает Яша, тоже будет игнорироваться. И безо всяких санкций.

Нагруженный роботс - это гемор. ИМХО

[Темный принц]

User-Agent: *
Disallow: /1/*

User-Agent: Yandex
Disallow: /1/*
Host: webmasters.ru

User-Agent: * (ето для всех, но делаетса для google)
Disallow: что именно надо блокивароть (заривать)

User-Agent: Yandex (ето яндекс)
Disallow: что именно надо блокивароть (заривать)
Host: ваш сайт

[Shihal]

xilgiz, Ну и начитаетесь же вы советов :) Вот ссыль на яш-помощь

Вот ваш robots.txt:

PHP код:

User-agent: Yandex 
Disallow: /index.php?* 
Disallow: /administrator/ 
Disallow: /cache/ 
Disallow: /components/ 
Disallow: /includes/
Disallow: /language/ 
Disallow: /libraries/ 
Disallow: /media/ 
Disallow: /modules/ 
Disallow: /plugins/ 
Disallow: /templates/ 
Disallow: /tmp/ 
Disallow: /xmlrpc/ 
Host: _site.ru 

User-agent: * 
Disallow: /index.php?* 
Disallow: /administrator/ 
Disallow: /cache/ 
Disallow: /components/ 
Disallow: /includes/ 
Disallow: /language/ 
Disallow: /libraries/ 
Disallow: /media/ 
Disallow: /modules/ 
Disallow: /plugins/ 
Disallow: /templates/ 
Disallow: /tmp/ 
Disallow: /xmlrpc/ 


Для гугла директива host не прописывается (хотя "User-agent: *" - это не гугл). С картой сайта думаю сами разберётесь, но главное, что она должна быть в расширении xml, а то вчера обзор сайта делал, а у него вместо карты архив бекапа карты стоит :)

Важно! Не забудьте, что если вы хотите, что бы Гугл/Яша сбольшим послушанием относились к вашему robots.txt, то сайт следует добавить в вебмастер панели, и прописать в них главный домен.

[Sotastroy]

Shihal, карты сайта бывают разные, например под instant(я видел ваше сообщение в своей теме) есть плагин, который формирует отдельную карты под видео, музыку, блоги и тд. Думаю, для других систем аналогичные тоже есть. Вопрос, насколько они помогают индексации открыт.

[genjnat]

xilgiz,
Steel,
В обоих случаях роботс рабочий и в целом правильный, на приколы по поводу Disallow: /installation/ и Host: для Гугла - наплюйте, это по любому лучше чем User-agent: * Disallow:
Походу - джумла генерит огромное количество дублей, мой роботс, это уже простыня из 40 пунктов - понятия не имею, каким образом ПСы находят эти страницы.
Будьте готовы, что и вам придется постоянно мониторьте выдачу, на предмет выявления всякого мусора.

По поводу карты, я вообще не заморачиваюсь – более десятка сайтов, карты нет ни на одном, и на всех 100% индексация.

[sapoya]

Многин блогеры хотят снять все временные ссылки, кто уже снял, заметил, что позиции начали немного восстанавливаться. Информация пока не подтверждена.