Кофеин от Гугля. Caffeine - новая система индексации сайтов

Н а днях Гугль объявили о завершении работ над новой системой индексации сайтов Caffeine.

[QUOTE]Caffeine на 50% «свежее» предыдущего индекса и представляет собой самую большую коллекцию веб-страниц за нашу историю. Что бы вы ни искали — новости, сообщения в блогах или на форумах, — нужные вам страницы теперь еще быстрее попадут в наш индекс, а вы сможете их быстрее найти.
[/QUOTE]

[IMG]http://4.bp.blogspot.com/_tJWIboW_K5c/TA9r7I7qbtI/AAAAAAAAFUo/JND5jwmCeN4/s400/caff_ru.jpg[/IMG]

Для чего они создавали новую систему индексации?

Потому что количество информации в сети постоянно растет и растет даже не по дням и часам а значительно быстрее. И что бы не отставать от стремительного развития в сети, и что бы пользователи поиска постоянно находили свежую информацию они и создали новую систему индексации.

Вот еще цитата о том как это все будет работать:


[QUOTE]В нашем старом индексе было несколько слоев, некоторые из которых обновлялись регулярнее, чем другие. Большая часть индекса обновлялась каждые две недели. Чтобы обновить слой индекса, нам нужно было проанализировать всю сеть, что создавало задержку между моментом нахождения страницы и тем, когда она становилась доступной пользователю.

Caffeine, в свою очередь, позволяет нам анализировать информацию в Интернете «по частям» и непрерывно обновлять наш поисковый индекс. Это означает, что результаты поиска будут отображать максимально свежую информацию, вне зависимости от времени и места публикации.

Каждую секунду система обрабатывает сотни тысяч страниц. Если мы представим себе, что эти страницы бумажные, стопка из них росла бы со скоростью около 5 км в секунду. В базе данных Caffeine содержится порядка 100 млн. гигабайт данных, а новая информация добавляется со скоростью нескольких сотен тысяч гигабайт в день. Вам бы понадобилось 625 тысяч iPod-ов с самым большим объемом памяти, чтобы сохранить такой массив информации.[/QUOTE]

Разработчики говорят что система разработана в планах на будущее Интернета. Но так же и говорят что летом еще появятся новые системы посика...