Продолжаем #3. Парсинг

(Ответов: 4, Просмотров: 7071)
  1. Гуру Аватар для spomoni
    • Регистрация: 01.05.2009
    • Сообщений: 766
    • Репутация: 17
    Сегодня мы поговорим о парсинге. Как Вы знаете, сейчас в ТОПе есть куча фарма доров/профилей, у которых бэками являются китайские и прочие гостевые. То есть спам гест по прежнему живет, все зависит от его объема и скорости простановки ссылок. Сегодня я поделюсь с Вами своими мыслями относительно парсинга Google'а.

    Прежде всего нам понадобится Хрефер, так как ни одной лучшей программы для парсинга я не встречал, по крайней мере из паблика. На форуме Ботмастера постоянно возникают темы, как правильно настроить, использовать Хрефер, который часто остаются без ответа. Я на своем личном примере покажу Вам как правильно его использовать - по крайней мере у меня никогда не было нареканий на работу этого ПО.

    Прежде всего скажу, что все тестировалось на ADSL Интернете со скоростью 2мбит.

    Настройки Хрефера.
    • Proxylist - я ставлю таймаут прокси в 5 сек, по совету саппорта Ботмастера. Лимит прокси - 500, все таки часть из них полудохлая, поэтому чем больше тем лучше.
    • Words database - сюда я вбиваю запросы на парсинг. Да-да, не слова, как надо, а именно запросы на парсинг.
    • Addictive words - эту опцию я вообще отключаю. При ее использовании (а также вбиве в Words database обычных кеев) процесс парсинга у меня затягивается на несколько дней.
    • SE filter - я парсю не только гостевые и форумы, но и все странички, куда можно влепить ссылку. Поэтому, здесь выбираю all.
    • Multithreading - проксичекер 100 потоков, парсинг - 500 потоков, и что бы не писали на Ботмастере, с обычными проксями чем больше потоков ставишь - тем лучше.
    • Также поставьте сохранение линков каждую минуту, а не 5 минут, дабы избежать потери базы, если ваш ПК зависнет.

    С использованием этих настроек у меня получается парсить много и быстро.

    В бонус новичкам выкладываю признаки парсинга гостевых, которые пробиваются Хрумером. В будущем советую составлять такие признаки самим, из успешной базы Хрумера. Так Вы добьетесь еще большей пробиваемости гостевых.

    http://dump.ru/file/3386904

    Отдельно скажу по поводу парсинга форумов. Лично я отношусь к ним негативно. Так как хорошие, высокопиаристые форумы, имею хорошую защиту, которую Хрумер может и не обойти, да и модераторы там удаляют спам очень быстро. А говнофорумы собственно никакого веса и не имеют, зато хранят тонны спама, куда Google Bot никогда не заходит. Поэтому, я предпочитаю спам гестов и т.п. скриптов, например комментов изображений.
    • 1

    Спасибо сказали:

    Casak(11.04.2010), lifter(14.04.2010),
  2. Гуру Аватар для BABBLS
    • Регистрация: 04.09.2009
    • Сообщений: 756
    • Репутация: 33
    спасибо за статью, + пополнение к моим запросам (шутка):) эти запросу у меня появились около двух лет назад, и они еще актуальны.
    • 0
  3. Senior Member Аватар для paxter
    • Регистрация: 03.09.2009
    • Сообщений: 482
    • Репутация: 10
    Сколько времени у вас занимает парсинг при выключенной опции Addictive words?
    • 0
  4. Дипломник
    • Регистрация: 06.09.2009
    • Сообщений: 203
    • Репутация: 38
    Отвечу за автора топика - зависит от количества запросов и настроек хрефера, ссответственно - глупый вопрос...
    • 0
  5. Junior Member
    • Регистрация: 10.03.2010
    • Сообщений: 1
    • Репутация: 10
    а кто сможет перезалить признаки? буду очень благодарен :)
    • 0

Похожие темы

Темы Раздел Ответов Последний пост
Парсинг whois
Софт, скрипты, сервисы 4 09.06.2010 05:49
Парсинг бэков
Софт, скрипты, сервисы 5 31.01.2010 13:38
парсинг Хрефером
Софт, скрипты, сервисы 20 17.11.2009 07:14
Парсинг блогов
Софт, скрипты, сервисы 14 21.09.2009 20:39
Продолжаем #2. Доры на профилях
Дорвеи и black SEO 26 12.09.2009 12:08

Интересные темы

парсинг google

Есть ли специальный софт, для того чтобы парсинг google и где его взять.

парсинг блогов

Все что вы хотели спросить про парсинг блогов, но не знали где, теперь все здесь.

скрипт для парсинга

Обзоры самых популярных и интересных скриптов для парсинга, возможность выбрать наилучший для себя.

У кого попросить инвайт?

Вы можете попросить инвайт у любого модератора:

Информеры