[nick889]

User-agent: *
Disallow: /*print
Disallow: /2012/
Disallow: /tags/
Disallow: /user/
Disallow: /engine/
Disallow: /favorites/
Disallow: /lastnews/
Disallow: /newposts/
Disallow: /catalog/
Disallow: /addnews.html
Disallow: /statistics.html
Disallow: /rules.html
Disallow: /dle-rules-page.html
Disallow: /*?*
Sitemap: http://site.ru/sitemap.xml
Host: site.ru

Звёздочки лучше по-добавлять к некоторым пунктам.
т.е. -
Disallow: /tags/*
Disallow: /user/*
Disallow: /engine/*

По поводу /page/* думаю не нужно их закрывать, но это уже выбор каждого.

Disallow: */?do=cat* Disallow: /?do=cat*

а этим разве не закрываются категории

[asmakovec2]

Звёздочки лучше по-добавлять к некоторым пунктам.
т.е. -
Disallow: /tags/*
Disallow: /user/*
Disallow: /engine/*

Не обязательно ставить звёздочки.
Disallow: /tags/*
и
Disallow: /tags/
это одно и тоже

---------- Сообщение добавлено 21:10 ---------- Предыдущее 21:07 ----------

2 головы лучше чем одна, а здесь умных голов точно не 2 и не десяток.

Создал тему, увидел, что имею несколько ошибок. Также убрал несколько других ненужных строк используя информацию с других подобных тем, которые созданы позже.

если хочешь я тебе подробно могу указать на твои ошибки и как можно сократить твой роботс, но суть останется та же, и будут закрыты все лишние разделы.

[liveman]

Я долго думал над закрытием '/page/' (минуты 2-3) и пришел к выводу, что не стоит их закрывать.

Конечно, не обязательно. Но DLE используется в основном как варезный движок или новостной (гораздо-гораздо реже), поэтому и пагинация - там не маленькое кол-во дублирующего контента.

Объясняю более популярно на примере сайта с фильмами. Если 500 фильмов с присвоенными 3-5 разделами. 10 фильмов - 1 страница пагинации. Итого мы имеем 50страниц*4раздела(ср. арифметическое)+50страниц на главной = 250 страниц дублирующего контента. А такие сайты состоят из нескольких десятков кило фильмов. Вот и считайте сколько в соплях у вас будет висеть и не повиснят ли в соплях гугла нормальная страница вместо пагинации.

P.S. Если у Вас, конечно, не варезник - то пагинацию можно и не закрывать, но все равно это только дубли.

[asmakovec2]

liveman, Ну это как бы не точные дубли.

[liveman]

asmakovec2, так то же самое можно сказать и про тэговые страницы, и про архив сайта :) Приглядитесь в те случаи когда в выдаче Гугла в соплях лежит нормальная страница, а ее "неполный"/"неточный" дубль-аналог занимает место в основной выдаче. Тем самым отталкивая народ как и по сниппету и титлу в выдаче, так и по потерям ключей на заточенной странице (которая случайным образом попала в сопли вместо незакрытого дубля).

Да и закрыв пагинацию, повысите процент страниц не под фильтрами в Google (про Яшку я молчу, так как с ним не работаю). Вот такие пироги :)

[asmakovec2]

liveman, Ну да, я в принципе с вами согласен.
А вообще о каких /page/ идёт речь? Они как бы разные бывают. Есть /page/ с главной, а есть /page/ с категорий.
Вот если /page/ с главной - то страницы будут дублироватся с архивом. А в некоторых случаях могут дублироватся с /page/ категорий.

Если архив закрыт от индексации и если /page/ главной закрыты от индексаци (или вообще вывода на главную нет), то страницы /page/ в категории ничего не будут дублировать, точнее десятая часть страницы будет дублировать часть полной новости.

[liveman]

asmakovec2, пагинация - она и в Африке пагинация, в независимости от разделов или главной страницы, или архива (ведь там тоже есть пагинация, вроде).

Всё, что Вы занесете из полной новости в краткую, то и будет дублироваться на страницах категорий или меню, тэговых страницах, поиска, архива...

Единственный выход - это на краткую новость вешать свой уникальный контент (в данном случае страницы пагинации не закрывать в robots.txt), тогда никаких дублей не будет (точнее значимых). Но опять же можно захватить ключи, по которым поисковик релеватную страницу занесет не необходимую нам с полной новостью, а страницу пагинации, что не есть хорошо.

Вообще, такие страницы (пагинация, архивы) делаются для юзабилити, а не для роботов (паучки ПС итак найдут как попасть на внутренние страницы - это карта сайта, внутренняя перелинковка, страницы категорий, главная...). Так что их в любом случае надо прикрыть