Кто как делает? Я лично паршу иногда allsubmitter'om, хорошо парсить без проксей, с использованием антикапчи Если было бы такое серверное решение вообще бы классно было, но пока не видел((( хотел чтоб сделали на заказ, но там возникло несколько нюансов.
Гугль неполохо парсится и без прокси, если с умом подходить. По секрету скажу, что 70% "ума" заключаются в задержках и адресации запросам к разным датацентрам. А если к этому добавить еще и десяток прокси, то шанс бана вообще сходит на нет. Собственно, такой подход я использовал в Google Cache Dumper
Самая страшная ошибка - это ошибка без видимых причин и конкретных последствий. RegSubmitter - регистратор аккаунтов в социальных закладках. Антисоциальный блог.
Гугль неполохо парсится и без прокси, если с умом подходить. По секрету скажу, что 70% "ума" заключаются в задержках и адресации запросам к разным датацентрам. А если к этому добавить еще и десяток прокси, то шанс бана вообще сходит на нет. Собственно, такой подход я использовал в Google Cache Dumper
хм я через кастом серч парсил, там дает до 1000ной дойти, но капча иногда вылетает. приходиться антикапчить. или руакми
Можно спамить без прокси но с Tor'om это аналог прокси, но всегда аптайм и чекать не нужно на валидность. Лично я не вижу смысла парсить без прокси. Хрефер успешно сканить миллионы страниц и с бесплатными проксями, который тут же собирет