http://webmasters.ru/forum/showthread.php?t=1245 SEO форум вебмастеров - Поисковые системы, оптимизация, раскрутка сайта, оптимизация и продвижение сайта в поисковых системах 1742901520 Elesite CMS 60 http://webmasters.ru/forum/images/wm/misc/rss.png http://webmasters.ru/forum http://webmasters.ru/forum/showpost.php?p=25025 Tue, 08 Sep 2009 06:00:13 GMT Кто как делает? Я лично паршу иногда allsubmitter'om, хорошо парсить без проксей, с использованием антикапчи Если было бы такое серверное решение вообще бы классно было, но пока не видел((( хотел чтоб сделали на заказ, но там возникло несколько нюансов. Делимся своими вариантами. http://webmasters.ru/forum/showpost.php?p=25160 Tue, 08 Sep 2009 07:58:16 GMT тоже парсю аллсабом, с прокси заморачиваться не хочется, та м обьемы у мня небольшие http://webmasters.ru/forum/showpost.php?p=25634 Tue, 08 Sep 2009 10:03:31 GMT Без прокси удобно Яндекс парсить, там ничего особенного А в гугле без этого много не напарсишь. http://webmasters.ru/forum/showpost.php?p=25688 Tue, 08 Sep 2009 10:15:40 GMT Без прокси удобно Яндекс парсить, там ничего особенного А в гугле без этого много не напарсишь. а если тебе нужны гесты не ру, то с яндекса их не выпарсиш. В гугле можно много напарсить, самое главное знать как.;) http://webmasters.ru/forum/showpost.php?p=25699 Tue, 08 Sep 2009 10:18:43 GMT В гугле можно много напарсить, самое главное знать как.;) Так скажи как :) http://webmasters.ru/forum/showpost.php?p=25705 Tue, 08 Sep 2009 10:20:10 GMT Так скажи как :) сорри, но не могу. все таки это мой хоть маленький, но бизнес. http://webmasters.ru/forum/showpost.php?p=25725 Tue, 08 Sep 2009 10:26:21 GMT Можно парсить без прокси, но задержку надо больше ставить, процесс больше времени занимает. http://webmasters.ru/forum/showpost.php?p=25924 Tue, 08 Sep 2009 11:17:12 GMT Гугль неполохо парсится и без прокси, если с умом подходить. По секрету скажу, что 70% "ума" заключаются в задержках и адресации запросам к разным датацентрам. А если к этому добавить еще и десяток прокси, то шанс бана вообще сходит на нет. Собственно, такой подход я использовал в Google Cache Dumper (http://nevkontakte.org.ru/blog/alek%24/skripty-google-cache-dumper-bing-cache-dumper) http://webmasters.ru/forum/showpost.php?p=25937 Tue, 08 Sep 2009 11:20:54 GMT Гугль неполохо парсится и без прокси, если с умом подходить. По секрету скажу, что 70% "ума" заключаются в задержках и адресации запросам к разным датацентрам. А если к этому добавить еще и десяток прокси, то шанс бана вообще сходит на нет. Собственно, такой подход я использовал в Google Cache Dumper (http://nevkontakte.org.ru/blog/alek%24/skripty-google-cache-dumper-bing-cache-dumper) хм я через кастом серч парсил, там дает до 1000ной дойти, но капча иногда вылетает. приходиться антикапчить. или руакми http://webmasters.ru/forum/showpost.php?p=26045 Tue, 08 Sep 2009 11:46:16 GMT Можно спамить без прокси но с Tor'om это аналог прокси, но всегда аптайм и чекать не нужно на валидность. Лично я не вижу смысла парсить без прокси. Хрефер успешно сканить миллионы страниц и с бесплатными проксями, который тут же собирет http://webmasters.ru/forum/showpost.php?p=26332 Tue, 08 Sep 2009 12:47:03 GMT Тор очень медлительный, да и задержка довольно чувствительная идет между сменами ипов, забанить успевает. Только многопоточность спасает кое-как. http://webmasters.ru/forum/showpost.php?p=27027 Tue, 08 Sep 2009 15:38:54 GMT Вот именно! Придётся парсить в один поток (раз минус), с большой задержкой (два минус). Легче купить доступ к сервису и за 1$ в день получать список активных прокси/сокс. http://webmasters.ru/forum/showpost.php?p=27199 Tue, 08 Sep 2009 16:32:23 GMT Не знаю я секретов, чтобы парсить без прокси, да и имхо это нереально для больших обьемов. http://webmasters.ru/forum/showpost.php?p=27432 Tue, 08 Sep 2009 17:38:53 GMT Парсинг google за день (24часа) при задержке 11 секунд, в один поток можно сделать 7-8 тысяч запросов. Работаю с программой Google Parse Free. Для новичка - самое то, с проксями не надо возиться. http://webmasters.ru/forum/showpost.php?p=27524 Tue, 08 Sep 2009 18:12:56 GMT Вообще по идее без прокси легко спамить, но затратно. легче прокси покупать, имхо. Вариант парсинга без прокси. Берем покупаем сервак с 200+ ип устанавливаем нужное количество копий парсилок, запускаем парсинг без таймаута + использование анти капчи. только это затратно. сервак такой около 500баксов будет стоить. http://webmasters.ru/forum/showpost.php?p=27570 Tue, 08 Sep 2009 18:30:00 GMT Прокси можно приобрести спокойна, там их ещё и с доставкой на почту присылают 8) http://webmasters.ru/forum/showpost.php?p=27785 Tue, 08 Sep 2009 19:47:12 GMT BABBLS, 500$ для парсинга одного, очень жирно. Прокси 30$ в месяц, сервер баксов за 150$ и хрефер = отличный и быстрый парсинг. ilyha, в очередной раз не понимаю твоего сообщения. Как прокси можно на почту прислать?:confused: http://webmasters.ru/forum/showpost.php?p=27999 Tue, 08 Sep 2009 21:25:53 GMT Лучше сервер баксов за 100+прокси баксов 100. http://webmasters.ru/forum/showpost.php?p=28164 Wed, 09 Sep 2009 02:08:14 GMT Хрефер успешно сканить миллионы страниц и с бесплатными проксями, который тут же собирет Аналогично. При массовом парсинге без прокси не обойтись. Но и покупать смысла особого нет. Разница будет незначительная, если постоянно обновлять список бесплатных проксей. http://webmasters.ru/forum/showpost.php?p=28240 Wed, 09 Sep 2009 04:37:16 GMT ну я о том же что очень дорого приобретать сервак с несколькими десятками Ip и с него парсить, но при таком парсинге в принципе можно в разы больше и быстрей выпарсить, чем с прокси. Т.к. когда с прокси парсишь, не все запросы проходят. http://webmasters.ru/forum/showpost.php?p=28271 Wed, 09 Sep 2009 05:10:14 GMT BABBLS, 500$ для парсинга одного, очень жирно. Прокси 30$ в месяц, сервер баксов за 150$ и хрефер = отличный и быстрый парсинг. ilyha, в очередной раз не понимаю твоего сообщения. Как прокси можно на почту прислать?:confused: с сапортом говоришь, типо столько то прокси хочу списком на меил и получаешь только в этом случае многие уже будут дохлыми, когда дело дойдет до использования http://webmasters.ru/forum/showpost.php?p=28276 Wed, 09 Sep 2009 05:11:53 GMT с сапортом говоришь, типо столько то прокси хочу списком на меил и получаешь только в этом случае многие уже будут дохлыми, когда дело дойдет до использования легче брать прокси лист. который обновляется. http://webmasters.ru/forum/showpost.php?p=28315 Wed, 09 Sep 2009 05:34:54 GMT Гугль неполохо парсится и без прокси, если с умом подходить. По секрету скажу, что 70% "ума" заключаются в задержках и адресации запросам к разным датацентрам. Дело говоришь! Если объёмы не сильно большие, можно обходится без прокси используя эти 70%. http://webmasters.ru/forum/showpost.php?p=28346 Wed, 09 Sep 2009 06:00:51 GMT Ну и насколько все будет медленнее при таком "мозговом" методе? Имхо лучше не пожалеть денег на хорошие проксия. Все-таки вы это делаете для работы. http://webmasters.ru/forum/showpost.php?p=28685 Wed, 09 Sep 2009 07:58:07 GMT Гугль неполохо парсится и без прокси, если с умом подходить. По секрету скажу, что 70% "ума" заключаются в задержках и адресации запросам к разным датацентрам. Где то слышал, что парсинг по нескольким датацентрам, это одно и тоже что через один датацантр парсит, т.е. эффект будет такой же и гугл это палит. http://webmasters.ru/forum/showpost.php?p=29736 Wed, 09 Sep 2009 11:43:33 GMT Проверено на личном опыте - это не так. http://webmasters.ru/forum/showpost.php?p=30578 Wed, 09 Sep 2009 14:19:29 GMT Проверено на личном опыте - это не так. я лично использую только один датацентр. и вроде нормуль все. http://webmasters.ru/forum/showpost.php?p=30585 Wed, 09 Sep 2009 14:21:30 GMT Пытался в хрефере парсить по разным датацентрам. Банят так же, да ещё и ip эти не всегда доступны почему то. Много не насобирать таким образом. http://webmasters.ru/forum/showpost.php?p=30754 Wed, 09 Sep 2009 14:52:51 GMT Гугль неполохо парсится и без прокси, если с умом подходить. По секрету скажу, что 70% "ума" заключаются в задержках и адресации запросам к разным датацентрам. А если к этому добавить еще и десяток прокси, то шанс бана вообще сходит на нет. Дело говоришь..., но однако и при таком подходе меня часто баняли без прокси. Нужно с прокси парсить, без прокси... банят очень быстро! http://webmasters.ru/forum/showpost.php?p=30848 Wed, 09 Sep 2009 15:16:01 GMT Дело говоришь..., но однако и при таком подходе меня часто баняли без прокси. Нужно с прокси парсить, без прокси... банят очень быстро! Видать, вам не везло. http://webmasters.ru/forum/showpost.php?p=30859 Wed, 09 Sep 2009 15:18:24 GMT можно же вроде пасить сайты партнеры, которые используют выдачу гугла у себя, без прокси типо поиска от фаерфокса или qip.ru.. я впринцепе не особо в теме может так уже и нельзя http://webmasters.ru/forum/showpost.php?p=31328 Wed, 09 Sep 2009 16:34:49 GMT дааааааааааааааааа,хорошо бы если это так! http://webmasters.ru/forum/showpost.php?p=31344 Wed, 09 Sep 2009 16:37:16 GMT Дело говоришь! Если объёмы не сильно большие, можно обходится без прокси используя эти 70%. но очень часто объемы бывают большие, так что без прокси не обойтись, но и места надо знать где брать их сотни штук еще и бесплатно http://webmasters.ru/forum/showpost.php?p=31545 Wed, 09 Sep 2009 17:11:33 GMT с сапортом говоришь, типо столько то прокси хочу списком на меил и получаешь только в этом случае многие уже будут дохлыми, когда дело дойдет до использования Не понял смысла про прокси на е-маил. Я имел ввиду про ежеминутно обновляющие списки прокси/сокс. И перед использованием вроде все чекают прокси на активность :) http://webmasters.ru/forum/showpost.php?p=32527 Wed, 09 Sep 2009 23:55:05 GMT И я не понял. Прокси надо отдавать листов с одного урла, уже зачеканые и готовые для работы. Что бы скрипту урл скормить и все. http://webmasters.ru/forum/showpost.php?p=68028 Mon, 09 Nov 2009 19:47:44 GMT И я не понял. Прокси надо отдавать листов с одного урла, уже зачеканые и готовые для работы. Что бы скрипту урл скормить и все. видать там не такое большое количество проксей. может это вовсе не прокси а соксы.)) вот почему и не дают прокси лист. а высылают списочек на мыло, либо сервис просто не достиг до такого уровня чтоб давать прокси лист) http://webmasters.ru/forum/showpost.php?p=68066 Mon, 09 Nov 2009 22:12:13 GMT Использую ботмастерские хреферовские прокси для парсинга. Да, не очень, да дохнут, да тормозят, но на халяву, не надо долго искать, всегда есть. :) http://webmasters.ru/forum/showpost.php?p=68068 Mon, 09 Nov 2009 22:16:26 GMT По опыту скажу, что парсинг на нормальных проксях, а не на ботмастерских, дает более качественные результаты, серьезно. http://webmasters.ru/forum/showpost.php?p=68123 Tue, 10 Nov 2009 05:32:28 GMT вообще мне не нравится у Хрефера косяк такой, что хоть есть нормальные прокси, но он иногда мимо их бьет и некоторе запросы не распаршиваются. я думаю многие такое замечали.