[spomoni]

Сегодня мы поговорим о парсинге. Как Вы знаете, сейчас в ТОПе есть куча фарма доров/профилей, у которых бэками являются китайские и прочие гостевые. То есть спам гест по прежнему живет, все зависит от его объема и скорости простановки ссылок. Сегодня я поделюсь с Вами своими мыслями относительно парсинга Google'а.

Прежде всего нам понадобится Хрефер, так как ни одной лучшей программы для парсинга я не встречал, по крайней мере из паблика. На форуме Ботмастера постоянно возникают темы, как правильно настроить, использовать Хрефер, который часто остаются без ответа. Я на своем личном примере покажу Вам как правильно его использовать - по крайней мере у меня никогда не было нареканий на работу этого ПО.

Прежде всего скажу, что все тестировалось на ADSL Интернете со скоростью 2мбит.

Настройки Хрефера.

• Proxylist - я ставлю таймаут прокси в 5 сек, по совету саппорта Ботмастера. Лимит прокси - 500, все таки часть из них полудохлая, поэтому чем больше тем лучше.
• Words database - сюда я вбиваю запросы на парсинг. Да-да, не слова, как надо, а именно запросы на парсинг.
• Addictive words - эту опцию я вообще отключаю. При ее использовании (а также вбиве в Words database обычных кеев) процесс парсинга у меня затягивается на несколько дней.
• SE filter - я парсю не только гостевые и форумы, но и все странички, куда можно влепить ссылку. Поэтому, здесь выбираю all.
• Multithreading - проксичекер 100 потоков, парсинг - 500 потоков, и что бы не писали на Ботмастере, с обычными проксями чем больше потоков ставишь - тем лучше.
• Также поставьте сохранение линков каждую минуту, а не 5 минут, дабы избежать потери базы, если ваш ПК зависнет.

С использованием этих настроек у меня получается парсить много и быстро.

В бонус новичкам выкладываю признаки парсинга гостевых, которые пробиваются Хрумером. В будущем советую составлять такие признаки самим, из успешной базы Хрумера. Так Вы добьетесь еще большей пробиваемости гостевых.

http://dump.ru/file/3386904

Отдельно скажу по поводу парсинга форумов. Лично я отношусь к ним негативно. Так как хорошие, высокопиаристые форумы, имею хорошую защиту, которую Хрумер может и не обойти, да и модераторы там удаляют спам очень быстро. А говнофорумы собственно никакого веса и не имеют, зато хранят тонны спама, куда Google Bot никогда не заходит. Поэтому, я предпочитаю спам гестов и т.п. скриптов, например комментов изображений.

[BABBLS]

спасибо за статью, + пополнение к моим запросам (шутка):) эти запросу у меня появились около двух лет назад, и они еще актуальны.

[paxter]

Сколько времени у вас занимает парсинг при выключенной опции Addictive words?

[idimka]

Отвечу за автора топика - зависит от количества запросов и настроек хрефера, ссответственно - глупый вопрос...

[lifter]

а кто сможет перезалить признаки? буду очень благодарен :)