Мэтт Катс рассказал, почему рискованно не иметь файл robots.txt

(Ответов: 3, Просмотров: 283)
  1. Гуру
    • Регистрация: 11.05.2011
    • Сообщений: 2,354
    • Репутация: 390
    В последнем видеоролике на Webmaster Help Мэтт Катс рассказал ответил на вопрос пользователя о файле robots.txt . Вопрос звучал так: “Лучше ли иметь пустой файл robots.txt или содержащий User-agent: *Disallow:” или, может быть, лучше не иметь файла robots.txt совсем?”



    «Я бы ответил, любой из двух первых вариантов», - были первые слова Катса. «Совсем не иметь файл robots.txt несколько рискованно, потому что иногда, если у вас этого файла нет, ваш веб-хост отдает страницу 404, а это уже ведет к разным нежелательным ситуациям. К счастью, мы умеем определять это очень хорошо, поэтому это такой риск примерно на 1%».



    Однако Катс отметил, что если есть возможность создать файл robots.txt, лучше это сделать, пусть даже совсем пустой или с User-agent: *Disallow и не заполненный. Оба варианта Google воспринимает как полностью равнозначные. Однако личный совет от Катса – использовать вариант с User-agent: *Disallow, который дает поисковику понять, что вебмастер сознательно разрешает роботу индексировать все на сайте. В случае пустого файла можно предположить, что кто-то по ошибке удалил его содержимое.

    Примечательно, что, поднимая тему robots.txt, которая после недавних событий с утечками информации в рунете стала притчей по языцех, Катс ничего не говорит о важности этого файла для закрытия от индексации конфиденциальных данных на сайте. Интересно, что думает на этот счет наша читательская аудитория. Какие веб-ресурсы можно отнести к категории сайтов, которым совершенно не за чем закрывать какие-либо страницы от поисковых роботов?
    • 0
  2. Студент
    • Регистрация: 02.09.2009
    • Сообщений: 77
    • Репутация: 15
    • Webmoney BL: ?
    на мой взгляд к таким ресурсам можно отнести различные социальные сети, галереи.
    • 0
  3. Гуру
    • Регистрация: 17.03.2011
    • Сообщений: 935
    • Записей в дневнике: 15
    • Репутация: 141
    что следует индексировать то не следует скрывать). Согласен про социалки там все доступно и не скрывается, а различные сайты блоги где следует во избежания дублей и т.д. он просто необходим и тема роботса много раз уже обсуждалась на страницах этого форума.
    • 0
  4. Web-разработка Аватар для semyon
    • Регистрация: 20.06.2011
    • Сообщений: 1,781
    • Репутация: 549
    • Webmoney BL: ?
    Достаточно вспомнить недавние события Яши и Мегафона)))
    • 0

У кого попросить инвайт?

Вы можете попросить инвайт у любого модератора:

Информеры