В последнем видеоролике на Webmaster Help Мэтт Катс рассказал ответил на вопрос пользователя о файле robots.txt . Вопрос звучал так: “Лучше ли иметь пустой файл robots.txt или содержащий User-agent: *Disallow:” или, может быть, лучше не иметь файла robots.txt совсем?”
«Я бы ответил, любой из двух первых вариантов», - были первые слова Катса. «Совсем не иметь файл robots.txt несколько рискованно, потому что иногда, если у вас этого файла нет, ваш веб-хост отдает страницу 404, а это уже ведет к разным нежелательным ситуациям. К счастью, мы умеем определять это очень хорошо, поэтому это такой риск примерно на 1%».
Однако Катс отметил, что если есть возможность создать файл robots.txt, лучше это сделать, пусть даже совсем пустой или с User-agent: *Disallow и не заполненный. Оба варианта Google воспринимает как полностью равнозначные. Однако личный совет от Катса – использовать вариант с User-agent: *Disallow, который дает поисковику понять, что вебмастер сознательно разрешает роботу индексировать все на сайте. В случае пустого файла можно предположить, что кто-то по ошибке удалил его содержимое.
Примечательно, что, поднимая тему robots.txt, которая после недавних событий с утечками информации в рунете стала притчей по языцех, Катс ничего не говорит о важности этого файла для закрытия от индексации конфиденциальных данных на сайте. Интересно, что думает на этот счет наша читательская аудитория. Какие веб-ресурсы можно отнести к категории сайтов, которым совершенно не за чем закрывать какие-либо страницы от поисковых роботов?
Мэтт Катс рассказал, почему рискованно не иметь файл robots.txt
(Ответов: 3, Просмотров: 283)
- 25.08.2011 11:49
- Регистрация: 11.05.2011
- Сообщений: 2,354
- Репутация: 390
- 25.08.2011 13:14
на мой взгляд к таким ресурсам можно отнести различные социальные сети, галереи.
- 25.08.2011 13:19
что следует индексировать то не следует скрывать). Согласен про социалки там все доступно и не скрывается, а различные сайты блоги где следует во избежания дублей и т.д. он просто необходим и тема роботса много раз уже обсуждалась на страницах этого форума.
- 25.08.2011 13:26
Достаточно вспомнить недавние события Яши и Мегафона)))
Тэги топика:
- robots,
- иметь,
- катс,
- мэтта,
- почему,
- рассказать,
- рискованный,
- следовать,
- файл