[24110]

Статья хорошая. Только можно обойтись без парсера логов (сразу сравнивать, если юзерагент похож на гугловского то вносим в файл, если нет то ничего не пишем), но это фигня) главное что все по полочкам розложил))

Ну не знаю, мне еще интересно посмотреть, кто лазил по ссылкам

[noxon.su]

Кстати, владельцы хрумака, если можно грюкните в аську. Есть немного вопросов. Палить ничего просить не буду, чисто технические приколы. Ну не готов я вот так сразу 450-550 у.е. отдать без мнений.

Если ты не готов отдать деньги без сомнений, значит он тебе не нужен. Поверь.

[24110]

По поводу сбора гуглоботов - пособирал я и яхуботов, прогнал по собранной базе пару профилей. Результат (в плане индексации) получился гораздо хуже, чем с базой, собранной с гуглоботов.
И еще, база очень быстро теряет актуальность. Как-то гуглобот неравномерно ходит по форумам очень.

[newgeniy]

а можно как то узнать пробьёт Хрумак тот или иной форум??
дело в том что я юзаю ломанную версию 2.9 и пробивает он только у меня китайские гесты но они плоховато гуглоботом индексяться.....хотелось бы напарсить форумов может посоветуете что..та же проблема и с wordpress блогами

[ne0zx]

а можно как то узнать пробьёт Хрумак тот или иной форум??
дело в том что я юзаю ломанную версию 2.9 и пробивает он только у меня китайские гесты но они плоховато гуглоботом индексяться.....хотелось бы напарсить форумов может посоветуете что..та же проблема и с wordpress блогами

купить его :) ну или в демо кажется тоже можно попробовать, только ссылки он на себя кажется оставляет

[24110]

дело в том что я юзаю ломанную версию 2.9 и пробивает он только у меня китайские гесты но они плоховато гуглоботом индексяться.....хотелось бы напарсить форумов может посоветуете что..та же проблема и с wordpress блогами

я о версии 2.9 забыл еще года 1,5 назад. не мучайте себя и не тратьте свое время на это бестолковое занятие - проще купить хрум за 215 баксов в складчину с кем-нить.

[newgeniy]

купить его :) ну или в демо кажется тоже можно попробовать, только ссылки он на себя кажется оставляет

если бы у меня была возможность купить Хрумак я бы ломанную версию не юзал)
нашол вид форумов которые хрумак ломанный 2.9 пробивает,кому интересно расскажу)

[serjio1112]

Спасибо за статью. Очень познавательно.
Однако у меня несколько вопросов возникло по поводу проверки базы.

Таким образом, мы ставим ссылку на скрипт на нашем сервере и параметром в виде URL'а сайта, где стоит ссылка. Как только гуглобот хавает эту ссылку, у нас все отражается в логах.

Прописывая ссылку на скрипт точно так, как вы указываете, в логах я вижу

:Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Прописывая эту ссылку без "#" я в логе наблюдаю следующее:

hostname:Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Ещё я попытался прописать этот параметр как

http://mydomain.com/stats.php?r=%hostname%

И в логе отобразилось

%hostname%:Mozilla/5.0 (compatible; Yahoo! Slurp/3.0; http://help.yahoo.com/help/us/ysearch/slurp)

Вопрос: как всё таки прописать этот параметр, чтобы в логах сохранялся адрес хоста, с которого пришёл гуглобот?

[dmg.shark]

Скрины из поста пропали

[Bogdan]

в целом суть статьи понятна. Но я новичок, так что есть всякие заминки!=( Но огомное спасибо за проделаный труд!