[MacLeo]

1nSane, если к меткам написать уникальный текст, подобрать ключевые слова - все будет нормально. Не то что бы прям так отлично, но лучше чем без него :)
Что касается примера, там все равно есть дублирование контента. Вот Вам пример: Автор: Лев Толстой. Метка(жанр): Про войну, или военные. В выдаче будет одинаковый результат (один, не нужно много): Война и мир ( к примеру). А это уже считается дублем :)

[CherVal]

Конечно, может говорю глупости, но как страницы с метками создают ДУБЛИ? Дубли с чем?

Речь идёт о дублировании одного и того же контента (текста) на разных страницах одного сайта. Это не есть хорошо.

[Saros777]

Спасибо за статью.
"Вот собственно и все, другими CMS я не пользуюсь и ничего о них не могу написать.
Всем спасибо за внимание, буду рад услышать дополнения/исправления."
Жаль что джумлой не пользуетесь, хотелось бы узнать про роботс для этого движка.

[MacLeo]

Saros777, в принципе, если дадите сайт, могу просмотреть и посоветовать :)

[Saros777]

Спасибо конечно, но сайт пока на локалке.
Может быть через неделю - две залью, посмотрите, посоветуете)

[krockki]

Итак, мой ответ на пост. Пример роботса DLE:

User-agent: *
Disallow: /*print
Disallow: /*userinfo
Disallow: /2012/
Disallow: /index.php?subaction=userinfo
Disallow: /backupurl.php
Disallow: /admin.php
Disallow: /language/
Disallow: /templates/
Disallow: /tags/
Disallow: /newposts/
Disallow: /upgrade/
Disallow: /backup/
Disallow: /engine/
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /addnews.html
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=rules
Sitemap: http://вашсайт/sitemap.xml

User-agent: Yandex
Disallow: /*print
Disallow: /*userinfo
Disallow: /2012/
Disallow: /index.php?subaction=userinfo
Disallow: /backupurl.php
Disallow: /admin.php
Disallow: /language/
Disallow: /templates/
Disallow: /tags/
Disallow: /newposts/
Disallow: /upgrade/
Disallow: /backup/
Disallow: /engine/
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /addnews.html
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=rules
Host: вашсайт
Sitemap: http://вашсайт/sitemap.xml

User-agent: Googlebot
Disallow: /*print
Disallow: /*userinfo
Disallow: /2012/
Disallow: /index.php?subaction=userinfo
Disallow: /backupurl.php
Disallow: /admin.php
Disallow: /language/
Disallow: /templates/
Disallow: /tags/
Disallow: /newposts/
Disallow: /upgrade/
Disallow: /backup/
Disallow: /engine/
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /addnews.html
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=rules
Sitemap: http://вашсайт/sitemap.xml

User-agent: MediaPartners-Google
Allow: /

User-agent: YandexDirect
Allow: /

Начну с последних двух пунктов. Тут я думаю все понятно - они позволяют открыть показ рекламы на всех страницах сайта, даже тех которые мы закрыли от индексирования. Основной мой заработок идет как раз с контекста, поэтому они нужны.

Далее. Следует упомянуть, что сайт это прежде всего СДЛ, никаких ГС, торгующие ссылками в сапе я не приемлю. Поэтому избавляемся от всех дублей: Disallow: /2011/ Disallow: /tags/. Для удобства можно закрыть и Disallow: /page/, но я этого не делаю (ставлю редирект с page/1/ на главную, остальные страницы пускай в поиске). Также прописываем и другие года Disallow: /2012/ и т.д.

Все остальное просто не нужный хлам, который поисковикам и пользователям не нужен.

Пара моментов. Скрываем от поисковиков админку. Пусть ее видно в роботсе и может какой-то школьник Вас попробует взломать, но лучше ее скрыть и поставить защиту (благо полно хаков для DLE, чтобы защитить админку). Роботс как видите ориентирован на две поисковые системы Гугл и Яндекс, ну и просто на все остальные. Первоначально у меня стоял только яндекс и остальные. После аудита сайта было предложено сделать еще и для гугл бота, что я и сделал. Ничего плохого я не заметил, правда некоторые позиции после этого изменились.

Вообще, говоря о контенте сайта, хочу поставить эксперимент по дублям. Во-первых хочу полностью закрыть сайт от поисковиков, кроме статей и сделать индексацию только по карте сайта. Во-вторых, наоборот наоткрывать все, что только можно и также посмотреть за поведением прежде всего яндекса.

[CherVal]

Если написали

Disallow: /*userinfo

то писать

Disallow: /index.php?subaction=userinfo

уже не нужно.
Всё это

Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=rules

и

Disallow: /?do=lastcomments

Можно заменить на

Disallow: /*?

[krockki]

CherVal, не знаю сколько ты работаешь с ДЛЕ и откуда такая уверенность, но спешу тебя переубедить. По началу конечно тоже так думал, что:

Disallow: /*userinfo

и

Disallow: /index.php?subaction=userinfo

одно и тоже. Закрыв одно, закрывается другое. А вот и нет. Яша так не считает. Недавно посмотрев Яндекс Вебмастерс, понял, что /index.php?subaction=userinfo нужно отдельно закрывать.

Вторую твою поправку не проверял, у меня так стоит и никому не мешает.:)

[1nSane]

MacLeo,
Я же говорю, все зависит от того, как подходить к меткам. Если сделать метки "война" и "военные", и всем 10 произведениям про войну присваивать обе метки - это глупо.

Но когда у нас 5 авторов, 10 тематик произведений и 50 самих произведений, то по меткам мы каждый раз будем получать РАЗНЫЙ набор АНОНСОВ статей.

CherVal,
Какой ОДИН И ТОТ ЖЕ КОНТЕНТ? Народ, вы что, не пользуетесь анонсами, а пихаете тексты целиком? Тогда можно все новостные сайты прибивать, именно информагентств, ибо ВЕЗДЕ используются АНОНСЫ, 2-3 предложения, будь они на каждой странице, вреда не принесут. Ибо ПС расченивают их как меню (навигацию), а значит не пессимизируют страницу.

Да даже если будет у меток пересечение сильное, то это лишь опустит страницу одной из меток ниже другой, и не более.

P.S. Не теория, проверено на практике на десятках сайтов, один из которых был поисковой системой, где в выдаче были только названия файлов и ссылки, без текстов, все прекрасно кушалось, индексировалось и жило, причем на хороших местах.

[CherVal]

krockki, ознакомьтесь http://help.yandex.ru/webmaster/?id=996567

Спецсимвол '*' означает любую (в том числе пустую) последовательность символов.

Исходя из этого:
Disallow: /*userinfo = /любая последовательность символовuserinfo, например /index.php?subaction=userinfo
В данном случае не важно о какой CMS мы говорим.
1nSane, я вообще метки (тэги) не использую, так что дискутировать с вами нет желания.