[BROKER]

Подскажите пожалуйста правильный ли у меня заполнен файл robots.txt ? Сайт стоит на двигателе DLE.

Сам файл:

User-agent: *
Disallow: /tags/
Disallow: /user/
Disallow: /*print
Disallow: /backup/
Disallow: /engine/
Disallow: /upgrade/
Disallow: /language/
Disallow: /admin.php
Disallow: /favorites/
Disallow: /templates/
Disallow: /addnews.html
Disallow: /autobackup.php
Disallow: /statistics.html
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lastcomments
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts

Host: site.com
Sitemap: http://site.com/sitemap.xml

Заранее спасибо!

---------- Сообщение добавлено 20:39 ---------- Предыдущее 20:17 ----------

Или может быть я что то упустил а может и наоборот зря закрыл? Подскажите кто знает а то голова уже не соображает.

[hammer8]

BROKER, Это один из стандартных robots.txt для DLE, поэтому критических ошибок там нет.

Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lastcomments
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts

Вместо этого всего можно вставить просто
Disallow: /index.php

[BROKER]

Дубли я все поубирал поэтому мне не грозят санкции на счет них, просто какой то громоздкий получился файл поэтому и спросил, а то мало ли может что то лишнее закрыл по запарке.
И кто как считает нужно ли закрывать теги от индекса?

[Awardik]

BROKER, я закрывал теги.

[klassman]

И кто как считает нужно ли закрывать теги от индекса?

Вопрос спорный, если умеете с ними работать, то не закрывайте, не умеете и не знаете как, лучше закройте.
Облако тегов вообще на узкотематических сайтов лучше использовать, например, когда сайт о том же DLE делаете, что у вас этот тег в 50% материалов имеется, неплохая перелинковка получается... Но там тоже и возни и настройки и т.д.

[dmg.shark]

просто какой то громоздкий получился файл поэтому и спросил

ну он большой получился из-за самого движка - потому что в нем очень много лишнего, что не всегда используется
если бы был голый html, то там бы и было 1-2 строки, а так получается, что много чего нужно закрывать