Robots.txt — это текстовый файл, который располагается в корне сайта. Главное его предназначение - это задавать определённые директивы поисковым системам - что и когда делать на сайте.

В статье описаны все основные директивы и много примеров. В составлении robots.txt теперь разберётся и ребёнок.
Подробнее читаем тут - настройка Robots.txt