[Rj.DiNex]

Вот сам файл:

Код:

User-agent: *
Disallow: *.swf
Disallow: */?do=cat*
Disallow: /?do=cat*
Disallow: /?do=lastcomments
Disallow: /*rss
Disallow: /*print
Disallow: /*index.php?do=pm*
Disallow: /*subaction=userinfo
Disallow: /user/
Disallow: /tags/
Disallow: /2012/
Disallow: /stats/
Disallow: /cache/
Disallow: /engine/
Disallow: /backup/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /newposts/
Disallow: /language/
Disallow: /user/*
Disallow: /admin/*
Disallow: /themes/*
Disallow: /backup/*
Disallow: /include/*
Disallow: /language/*
Disallow: /favorites/*
Disallow: /templates/*
Disallow: /adv.html
Disallow: /rules.html
Disallow: /contact.html
Disallow: /engine/go.php
Disallow: /autobackup.php
Disallow: /main_admin.php
Disallow: /statistics.html
Disallow: /index.php?year=
Disallow: /index.php?do=pm
Disallow: /index.php?newsid
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts

User-agent: Yandex
Disallow: *.swf
Disallow: */?do=cat*
Disallow: /?do=cat*
Disallow: /?do=lastcomments
Disallow: /*rss
Disallow: /*print
Disallow: /*index.php?do=pm*
Disallow: /*subaction=userinfo
Disallow: /user/
Disallow: /tags/
Disallow: /2012/
Disallow: /stats/
Disallow: /cache/
Disallow: /engine/
Disallow: /backup/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /newposts/
Disallow: /language/
Disallow: /user/*
Disallow: /admin/*
Disallow: /themes/*
Disallow: /backup/*
Disallow: /include/*
Disallow: /language/*
Disallow: /favorites/*
Disallow: /templates/*
Disallow: /adv.html
Disallow: /rules.html
Disallow: /contact.html
Disallow: /engine/go.php
Disallow: /autobackup.php
Disallow: /main_admin.php
Disallow: /statistics.html
Disallow: /index.php?year=
Disallow: /index.php?do=pm
Disallow: /index.php?newsid
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts

Host: ******movies.com
Sitemap: http://******movies.com/sitemap.xml

Вроде бы ничего не забыл, а если и забыл, то укажите. :)

[Plum]

А зачем закрывать /uploads/ - это же картинки индексироваться не будут

[Rj.DiNex]

Plum, Ой, точно. Вот и нашли ошибочку. :)

[vovasit91]

Папка "/2012/" не с движка, может в ней что-то нужное:)

[DissConnect]

Папка "/2012/" не с движка, может в ней что-то нужное:)

Вообще то с движка! Полное дублирование контента!

[asmakovec2]

Для ДЛЕ вполне достаточно вот такого роботса

User-agent: *
Disallow: /*print
Disallow: /2012/
Disallow: /tags/
Disallow: /user/
Disallow: /engine/
Disallow: /favorites/
Disallow: /lastnews/
Disallow: /newposts/
Disallow: /catalog/
Disallow: /addnews.html
Disallow: /statistics.html
Disallow: /rules.html
Disallow: /dle-rules-page.html
Disallow: /*?*
Sitemap: http://site.ru/sitemap.xml
Host: site.ru

[liveman]

Disallow: /page/*

Запрет на индексирования страниц пагинации - это тоже лишние дубли.

[Rj.DiNex]

Для ДЛЕ вполне достаточно вот такого роботса

Кому-то вполне достаточно и приведенного Вами примера, но для меня лучше точное (или приближенное к этому понятию) действие. В данном случае - robots.txt

Запрет на индексирования страниц пагинации - это тоже лишние дубли.

Я долго думал над закрытием '/page/' (минуты 2-3) и пришел к выводу, что не стоит их закрывать.

[asmakovec2]

Кому-то вполне достаточно и приведенного Вами примера, но для меня лучше точное (или приближенное к этому понятию) действие. В данном случае - robots.txt

Зачем тогда тему создавал и просил проверить?
В твоём роботсе много лишнего.

[Rj.DiNex]

Зачем тогда тему создавал и просил проверить?

2 головы лучше чем одна, а здесь умных голов точно не 2 и не десяток.

Создал тему, увидел, что имею несколько ошибок. Также убрал несколько других ненужных строк используя информацию с других подобных тем, которые созданы позже.

В твоём роботсе много лишнего.

Не спорю, но я составлял robots под свой проект, а тему для проверки составленного. Указания даны, а там уже мне решать: что и как менять/исправлять/удалять.