Хочу создать поддомен ( тестовый блог ) на хостинге для различных экспериментов - встроить микроразметку, побаловаться с кодами и т.д. Поскольку буду загружать свою тему со всеми файлами и записями, не хотелось бы, чтобы поисковые системы индексировали его ( вроде получается абсолютно одинаковых сайта по контенту, боюсь дублей ). Вопрос: индексируются ли они, если да, то как запретить?
robots не панацея, гугл регулярно на эту инструкцию сервер ложил. проще запретить доступ отовсюду, кроме вашего адреса можно вообще добавить несуществующий домен, а-ля "utgdsfajgfasdfiuatfu.com" на сервер и указать у себя на компьютере в hosts алиас на это доменное имя. боты на несуществующий домен никак не попадут.