Ни один сайт не обходится без этого важного файла. С его помощью Вы можете закрыть от индексации ненужные страницы и избежать дублирования. Но что делать, если запрещенные страницы все равно проиндексированы?

Ответ на этот вопрос найдете в данном посте, а из комментариев узнаете что делать если нет доступа к хостингу и не создать файл robots.txt вручную...

Ну и конечно же меня интересует то, как Вы запрещаете индексацию, кроме этого файла.