robotstxt, вы сами главное указываете пс нечего не будем менять без вашего ведома