[Leonid1996]

Прошу проверить, правильно ли настроил:
User-agent: *
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm

Заранее благодарен)

[DeepAdvert]

Эммм... А где настроил то?

[ceff]

Leonid1996, я так понял это роботс для дле?

[MacDrive]

Вот, как-то так...

Спойлер

User-agent: *
Allow: /uploads/posts/
Disallow: /engine/go.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /favorites/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /page/
Disallow: */page/*
Disallow: /tags/
Disallow: /2012/
Disallow: /2013/
Disallow: /engine/
Disallow: /engine/download.php
Disallow: /language/
Disallow: /templates/
Disallow: /uploads/
Disallow: /backup/
Disallow: /lastnews/
Disallow: /catalog/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /banners/
Disallow: /*action=mobile$
Disallow: /do=*
Disallow: /*do=*
Disallow: /?*
Sitemap: http://site.ru/sitemap.xml

User-agent: Yandex
Allow: /uploads/posts/
Disallow: /engine/go.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /favorites/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /page/
Disallow: */page/*
Disallow: /tags/
Disallow: /2012/
Disallow: /2013/
Disallow: /engine/
Disallow: /engine/download.php
Disallow: /language/
Disallow: /templates/
Disallow: /uploads/
Disallow: /backup/
Disallow: /lastnews/
Disallow: /catalog/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /banners/
Disallow: /*action=mobile$
Disallow: /do=*
Disallow: /*do=*
Disallow: /?*
Sitemap: http://site.ru/sitemap.xml
Host: site.ru

[свернуть]

Открыты только новости и категории. И вот ещё почитайте на досуге _http://alaev.info/blog/post/3900

[ivanitskiydenis]

Прошу проверить, правильно ли настроил:

а как мы определим какие разделы Вы планируете закрывать в Disallow?)
навскидку - правильно. для яндекса можно еще host прописать

[Leonid1996]

MacDrive,да , решил на DLE еще сайтик сделать, точно так?

[MacDrive]

Leonid1996, нет, не точно) Зачем переспрашиваете?) Я же не просто так это сюда выложил.

[Leonid1996]

MacDrive, просто лучшу же не по всем записям он переходил как по мне, сли вдруг не совсем уникальная и я светить не хочу ее)
просто дописать ее в списке как запрещеная?

[Textoslov]

MacDrive, зачем так геморничать с двумя блоками для каждой ПС? Проще написать один для всех (*). Что какая-нить из ПС не знает - пропустит, что знает - возьмет.

[MacLeo]

Пользуемся поиском по форуму перед созданием тем http://webmasters.ru/forum/f10/tonko...60ya%5D-31599/