[Dim4ik0]

На сайте всего около 300 новостей, но в индексе почти 5к, что запретить?
https://www.google.com/search?q=site...w=1280&bih=920

[NightHawk]

А самим посмотреть? Изучаете как работают директивы robots.txt и вперед, свои 300 статей вы знаете, что к ним не относится, то мусор - убираете, по максимум меньшим количеством строк, не нужно всех например юзеров переписывать, Disallow: /user/ вполне хватит.
/newposts/‎
/tags/‎
/user/
и т.д и т.п.

[liveman]

Добавлю

/2013/ - закроете дубли архива
/page/ - закроете дубли пагинации
*lastcomments - закроете дубли комментариев

[GARGAR]

Я так полагаю, сайт на Вордпресе?
Вот с одного своего снял робост.тхт
Там все закрыто корме главной, страниц навигации и самих страниц и постов
В вашем случае (у вас ведь обзорник-новостник)
то некоторые строки возможно непригодятся

Развернуть текст

User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /feed/
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /?s=

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /feed/
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /?s=
Host: домен.ru

Sitemap: http://домен.ru/sitemap.xml.gz
Sitemap: http://домен.ru/sitemap.xml

[свернуть]

[Dim4ik0]

GARGAR, На DLE 10

NightHawk, liveman, Попробовал добавить к url в поиске /2013/ и прочее, везде не более 10 страниц, никак не 5к

[liveman]

allinurl:/user/ site:htc-rom.ru/ - 228 страниц
allinurl:/2013/ site:htc-rom.ru/- 89 страниц
allinurl:/page/ site:htc-rom.ru/ - 72 страницы
allinurl:lastcomments site:htc-rom.ru/ - 41 страница
allinurl:/lastnews/ site:htc-rom.ru/ - 30 страниц
allinurl:index.php site:htc-rom.ru/ - 57 страниц

ну и по мелочи тэги и прочее (выше перечисленное) + комбинации из этих (например /page/ + lastcomments, или /user/ + /page/) = много результатов в выдаче :)

И цифры выше не факт что именно такие, так как гугл урезает часть в показах (сопли).

[pyramida]

Dim4ik0, пустая например

Скрытый текст (вы должны зарегистрироваться или войти под своим логином):

У вас нет прав чтобы видеть скрытый текст, содержащийся здесь.

прогоните сайт
http://home.snafu.de/tilman/xenulink.html узнаете много нового.

[Dim4ik0]

pyramida, Прогнал, всего пара ошибок и те с картинками.

Этого хватит?

Disallow: /engine/
Disallow: /forum/
Disallow: /backup/
Disallow: /favorites/
Disallow: /language/
Disallow: /lastnews/
Disallow: /newposts/
Disallow: /tags/$
Disallow: /templates/
Disallow: /uploads/
Disallow: /user/
Disallow: /*print
Disallow: /*do=pm
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=addnews
Disallow: /*do=lastnews
Disallow: /*do=lastcomments
Disallow: /*do=lostpassword
Disallow: /*do=register
Disallow: /*do=search
Disallow: /addnews.html
Disallow: /statistics.html
Disallow: /search.html
Disallow: /rules.html

[pyramida]

pyramida, Прогнал, всего пара ошибок и те с картинками.

теперь смотрите адреса страниц и удаляйте. Но не через роботс, а нужно устанавливать метатег ноиндекс. Роботс только управляет сканированием.