[lis-enka]

Слухи о собственном веб-краулере Apple ходили уже давно, и, наконец, компания официально подтвердила своё владение неизвестным ранее индексатором. В справочном центре появилась страница, посвященная AppleBot.

Вложение 17623

Компания назвала AppleBot собственным веб-краулером, который собирает информацию для Siri и Spotlight. Робот поддерживает указания из robots.txt, причем, если не находит в нём строчки про себя, следует правилам, указанным для Google. Исходя из этого, можно заблокировать обоих краулеров, запретив одному лишь GoogleBot.

Если AppleBot ведет себя странно или не "слушается" указаний robots.txt, следует известить об этом специалистов при помощи email на Apple-NOC@apple.com.

Последние месяцы Apple активно собирает специалистов по поисковым системам. Ожидается, что новый игрок рынка поиска будет основан на Spotlight.

[Ленивый]

И нафига он нужен? Т.е. какую пользу он может принести? У меня на сайтах режутся все боты, кроме Яндекса, Гугла, Мэйла, Бинга и Рамблера. Стоит ли его добавлять в исключения?

[vetlik]

> Ленивый

А если не читать между строк? Прямым текстом же написано, что бот от эппл работает по директивам гуглбота.