AppleBot официально выпущен на свободу

Слухи о собственном веб-краулере Apple ходили уже давно, и, наконец, компания официально подтвердила своё владение неизвестным ранее индексатором. В справочном центре появилась страница, посвященная AppleBot.



Компания назвала AppleBot собственным веб-краулером, который собирает информацию для Siri и Spotlight. Робот поддерживает указания из robots.txt, причем, если не находит в нём строчки про себя, следует правилам, указанным для Google. Исходя из этого, можно заблокировать обоих краулеров, запретив одному лишь GoogleBot.

Если AppleBot ведет себя странно или не "слушается" указаний robots.txt, следует известить об этом специалистов при помощи email на Apple-NOC@apple.com.

Последние месяцы Apple активно собирает специалистов по поисковым системам. Ожидается, что новый игрок рынка поиска будет основан на Spotlight.