Google удаляет из индекса страницы, возвращающие код HTTP 403

При использовании HTTP-ответа 403, подразумевающего необходимость авторизации для просмотра страницы, вебмастер прямо говорит роботу Google, что страницу нужно убрать из индекса. Если же вебмастер не хочет добиться такого эффекта, лучше использовать код HTTP 503 - "сервер временно недоступен". Об этом рассказал инженер качества поиска Google Гэри Илш в Google+.

Если поисковый робот встречает страницу, для доступа к которой требуется авторизация, он доложит об этом и страницу исключат из списка индексирования. Если вы хотите временно заблокировать доступ к странице, то используйте код HTTP 404 или 503 - они действуют более "мягко". Если ответ 404, то робот не вернется проверять страницу, пока вновь не встретит ссылку на неё. А при использовании кода 503 робот будет пытаться обновить её содержимое через некоторое время, рассчитывая на скорое восстановление её работоспособности.