[kodzero]

1) Добавляем сайт в гугл вебмастер.
2) Читаем более внимательно мануалы по robots.txt, а именно для вас значение спец символов *,? + понять элементарную логику папок и подпапок.
3) Пишем robots.txt(начните с того, что файл вообще пустой) добавляем строки только осмыслив каждую и тут же смотрим, через гугл вебмастер как гугл бот на все это дело. Если Вы ошибетесь, то гугл скажет - Запрещено в файле robots.txt.

P.S. С недавних пор ПС стали оценивать техническую сторону сайтов при их ранжировании в том же числе уникальный роботс, что дает сигнал ПС о том, что Вы заботитесь о технической стороне Вашего сайт и идете на встречу ПС, чтобы облегчить жизнь роботам. Почему бы тогда ПС не пойти на встречу Вам и не дать + пару позиций в ранжировании? Элементарная логика вообще присутствует?

[Unrealm]

User-Agent: Yandex
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /user/
Disallow: /newposts/
Disallow: /lastnews/
Disallow: /statistics.html
Disallow: /rules.html
Disallow: /*print
Disallow: /*page/*
Disallow: /2013/
Disallow: /2014/
Disallow: /2015/
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=lastnews
Disallow: /*do=rules
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*do=search
Disallow: /*action=mobile*
Host: site.ru.ru

User-agent: *
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /user/
Disallow: /newposts/
Disallow: /lastnews/
Disallow: /statistics.html
Disallow: /rules.html
Disallow: /*print
Disallow: /*page/*
Disallow: /2013/
Disallow: /2014/
Disallow: /2015/
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=lastnews
Disallow: /*do=rules
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*do=search
Disallow: /*action=mobile*
Host: site.ru

Sitemap: http://site.ru/sitemap.xml