[akrustam]

akrustam, Насчет движков категорически не согласен. Теперь уже этот эксперимент не проведешь, но когда был еще у Яшки narod.ru для сравнения создали бы 2 блога на блоггере и на народе, кого быстрей яндекс проиндексировал бы? Народ за 1-3 дня, блоггер на недели счет, а то и за месяц, не раньше. Новая статья там и там, кто шустрей в индекс, без пинга, в чистом виде? На народе счет на минуты 10-20, на blogspot-е бывает и на месяцы. Так что рассказывать о том, что яндексу пофиг на платформу я бы не стал. И тут дело может и не в предвзятом отношении, мол это гугла дочка, фиг ей, а это моя кровинушка, ей пряник. Тут может все дело даже в географии, где чьи сервера и дата-центры находятся физически? Все таки Атлатика между ними.
А насчет АГС вижу так, поисковик ограничен в технических мощностях и нуждается в периодической разгрузке оных. Короче дает себе передышку, загоняя какой то объем страниц под этот фильтр. Критерии? Ну, это тема долгая, думаю их и так все знают.
Это мое мнение.

Вот, правильно начали думать, кроме платформы. Скорость работы бота зависит от удаленности, так как есть разница когда доступ к html 10 мс в москве и когда до нее по 50 мс (разница 500%, а это дорого для простоя), но это еще фигня. Попробую проиндексировать blogger, хотя там сайтов в 100 раз больше, чем на народе. У каждого сайта есть свой пул в базе для сбора.

[xxdevil]

akrustam, Если я правильно понял Вы про буферный пул? К сожалению не смогу с Вами обсудить этот вопрос, я не программер, не моя тема.

[akrustam]

Я понимаю, что мы не смогли бы поговорить про hadoop. Просто я понимаю как строиться система у них.

[xxdevil]

akrustam, А что у Яндекса Hadoop? Насколько я помню эта фишка с открытым исходником, неужели так обедняли? Хотя, это для обработки больших объемов, может и так. Не спорю, потому что повторюсь, не знаю. Но за ответ спасибо.

[akrustam]

У них такая дикая смесь, что там щас сложно уже сказать.

[xxdevil]

akrustam, Соглашусь, кстати заметили эта тема либо никаких отзывов, либо негатив. После такого seo-гуру имеют наглость еще и свои пять копеек на другие мои посты вставлять. И вдруг, разговор пошел либо о серьезном анализе, либо о странностях подмеченных в алгоритмах, либо ну как Вы предложили, о физическом устройстве дата-центров и .... всё тишина в эфире!!! Затаились копипастеры и чернушники, не о чем им писать, даже почвы не нашли как бы сподручней нахамить, с чем не согласится, короче, читают, думалку напрягают, а по теме тишина. Смешно и больно наблюдать такое на seo форуме(так позиционируется, кажется). То что действительно работает, в ИХ мозгах понимания не находит, топик этот без будущего. Зато 10000000000 просмотров, тем по монетизации, не работающих методах продвижения и уже практически мёртвой линкоторговле и алгоритмах прошлого. И эти люди определяют развитие интернета. К чему мы идём?

[iavtomoto]

если честно так и не понял О ЧЕМ вообще этот топик и статья... Быстроробот - да.. нормальные позиции по НЧ - да... что тут такого необычного?