Всем нужны инструкции для работы, поисковые системы не исключения из правил, поэтому и придумали специальный файл под названием robots.txt.

Конечно почти всем известно практически все про этот чудо файл, но возможно вы найдете что-то новое из этой статьи для себя.