[lis-enka]

Сегодня Google объявил о том, что отказывается от быстроробота, индексирующего новостной контент - Googlebot-News. Теперь вместо него индексировать новости будет обычный Googlebot, который индексирует сайты для общего поиска.



Западные интернет-СМИ, которые боролись за право скрывать свой контент от агрегатора Google News, могут тоже не беспокоиться. Если раньше они закрывали контент от индексации, запрещая Googlebot-News в файле robots.txt или с помощью метатега robots, то теперь ничего переделывать не придется. Googlebot будет учитывать директиву по запрету индексации новостей.

По мнению эксперта в области поисковых технологий Ванессы Фокс (Vanessa Fox), это изменение может усложнить аналитику сайта. Теперь нельзя будет проверить через Google Webmaster Tools, индексируются ли ваши новости непосредственно агрегатором Google News, будет лишь общая информация о том, что сайт индексируется Googlebot’ом.
Правда, Фокс отмечает, что в Google webmaster tools по-прежнему можно будет посмотреть ошибки страниц индексации отдельно для новостей и для общего индекса.

По мнению Ванессы, это изменение скорее шаг назад. Когда был запущен агрегатор Google News, ситуация была такой же: Googlebot индексировал и в целом сайты интернета, и новостной контент. По просьбам веб-издателей был запущен отдельный быстроробот для новостей. Основной целью запуска отдельного робота было обеспечение возможности заблокировать или разрешать к индексации контент для Google News отдельно от общего поиска. Этот функционал после текущего изменения сохраняется. Однако теряется возможность детального изучения проблем индексации.

Напомним, с 2005 года у Яндекса тоже есть отдельный робот, индексирующий сайты с часто обновляемым контентом (блоги, новостные порталы и др.), при этом данные вытягиваются из RSS, что и обеспечивает быструю индексацию. Например, новостной контент с сайтов-партнеров агрегатора Яндекс.Новости, обходится двумя роботами: быстророботом YandexNews, который заносит их в базу Я.Новостей и хранит около недели, а также основным индексирующим роботом YandexBot.

[xitblogger]

люди, как узнать присутствует ли сайт в ленте Яндекс.Новости?

[M25]

люди, как узнать присутствует ли сайт в ленте Яндекс.Новости?

http://news.yandex.ru/smi/