http://webmasters.ru/forum/showthread.php?t=1423 SEO форум вебмастеров - Поисковые системы, оптимизация, раскрутка сайта, оптимизация и продвижение сайта в поисковых системах 1742977411 Elesite CMS 60 http://webmasters.ru/forum/images/wm/misc/rss.png http://webmasters.ru/forum http://webmasters.ru/forum/showpost.php?p=28818 Wed, 09 Sep 2009 08:26:57 GMT Сегодня мы поговорим о парсинге. Как Вы знаете, сейчас в ТОПе есть куча фарма доров/профилей, у которых бэками являются китайские и прочие гостевые. То есть спам гест по прежнему живет, все зависит от его объема и скорости простановки ссылок. Сегодня я поделюсь с Вами своими мыслями относительно парсинга Google'а. Прежде всего нам понадобится Хрефер, так как ни одной лучшей программы для парсинга я не встречал, по крайней мере из паблика. На форуме Ботмастера постоянно возникают темы, как правильно настроить, использовать Хрефер, который часто остаются без ответа. Я на своем личном примере покажу Вам как правильно его использовать - по крайней мере у меня никогда не было нареканий на работу этого ПО. Прежде всего скажу, что все тестировалось на ADSL Интернете со скоростью 2мбит. Настройки Хрефера. Proxylist - я ставлю таймаут прокси в 5 сек, по совету саппорта Ботмастера. Лимит прокси - 500, все таки часть из них полудохлая, поэтому чем больше тем лучше. Words database - сюда я вбиваю запросы на парсинг. Да-да, не слова, как надо, а именно запросы на парсинг. Addictive words - эту опцию я вообще отключаю. При ее использовании (а также вбиве в Words database обычных кеев) процесс парсинга у меня затягивается на несколько дней. SE filter - я парсю не только гостевые и форумы, но и все странички, куда можно влепить ссылку. Поэтому, здесь выбираю all. Multithreading - проксичекер 100 потоков, парсинг - 500 потоков, и что бы не писали на Ботмастере, с обычными проксями чем больше потоков ставишь - тем лучше. Также поставьте сохранение линков каждую минуту, а не 5 минут, дабы избежать потери базы, если ваш ПК зависнет. С использованием этих настроек у меня получается парсить много и быстро. В бонус новичкам выкладываю признаки парсинга гостевых, которые пробиваются Хрумером. В будущем советую составлять такие признаки самим, из успешной базы Хрумера. Так Вы добьетесь еще большей пробиваемости гостевых. http://dump.ru/file/3386904 Отдельно скажу по поводу парсинга форумов. Лично я отношусь к ним негативно. Так как хорошие, высокопиаристые форумы, имею хорошую защиту, которую Хрумер может и не обойти, да и модераторы там удаляют спам очень быстро. А говнофорумы собственно никакого веса и не имеют, зато хранят тонны спама, куда Google Bot никогда не заходит. Поэтому, я предпочитаю спам гестов и т.п. скриптов, например комментов изображений. http://webmasters.ru/forum/showpost.php?p=28845 Wed, 09 Sep 2009 08:31:39 GMT спасибо за статью, + пополнение к моим запросам (шутка):) эти запросу у меня появились около двух лет назад, и они еще актуальны. http://webmasters.ru/forum/showpost.php?p=29617 Wed, 09 Sep 2009 11:22:16 GMT Сколько времени у вас занимает парсинг при выключенной опции Addictive words? http://webmasters.ru/forum/showpost.php?p=99387 Fri, 09 Apr 2010 14:57:05 GMT Отвечу за автора топика - зависит от количества запросов и настроек хрефера, ссответственно - глупый вопрос... http://webmasters.ru/forum/showpost.php?p=99798 Tue, 13 Apr 2010 22:04:21 GMT а кто сможет перезалить признаки? буду очень благодарен :)