Есть сайт с которого мы парсим определенную информацию.
Парсим при помощи парсера на базе эксель. Все ок все работает, но каждые минут 10 у нас вылезает капча на сайте и в этот момент парсер перестает парсить, и вместо нужной инфы парсит просто пустое значение. Заходим на этот сайт, вводим капчу и заного парсим. Это не очень удобно. Скажи есть ли какая то возможность менять раз в 3-5 минут айпишник свой автоматически. Или может есть другое решение этой проблемы?
- 06.09.2016 13:40Новичок
- Регистрация: 05.11.2015
- Сообщений: 28
- Репутация: 0
- 0
- 06.09.2016 13:47
Eskmo, Конечно есть, прокси для этого существуют. Конечно их применение зависит от "способностей"
самого парсера, обычно такой функционал прикручен по умолчанию.- 0
- 07.09.2016 11:38Гуру
- Регистрация: 22.04.2014
- Сообщений: 988
- Репутация: 133
Есть люди, которые занимаются профессиональным парсингом на этом сайте, но не за спасибо, конечно же.
- 0
- 07.09.2016 12:45Новичок
- Регистрация: 05.11.2015
- Сообщений: 28
- Репутация: 0
Lastwarrior, Никто и не говорил что я за спасибо предлагаю решить проблему. О цене можно договорится в ЛС. Если знаете таких людей дайте контакты пожалуйста.
- 0
07.09.2016 13:15Eskmo, добавляйте реферера, меняйте юзер агента, делайте рандомными промежутки между парсингом, сохраняйте куки, которые отдает сайт, и перед каждой итерацией в парсинге очищайте их. Ну или купите прокси и юзайте их.
- 0
- 07.09.2016 13:36Новичок
- Регистрация: 05.11.2015
- Сообщений: 28
- Репутация: 0
OKyJIucT, Я не понимаю многих ваших слов) Я не разработчик. Парсер о котором писал выше заказывал, решение по борьбе с капчей они мне предложить не смогли. Расскажите по подробнее про прокси. Если ли специальные программы для автоматической подмены?
- 0
- 07.09.2016 15:04Студент
- Регистрация: 12.04.2015
- Сообщений: 37
- Репутация: 6
Зеннопостер
- 0
- 07.09.2016 15:23
Eskmo, поясните, что значит "при помощи парсера на базе Эксель"? Вы прямо из Эксель документа парсите, или десктопный софт, или серверный скрипт? Как выглядит парсер, каким образом его можно запускать, куда он инфу складывает?
- 0
- 07.09.2016 16:29Новичок
- Регистрация: 05.11.2015
- Сообщений: 28
- Репутация: 0
OKyJIucT, Отпишу в ЛС
- 0
- 07.09.2016 16:49Дипломник
- Регистрация: 31.03.2010
- Сообщений: 202
- Репутация: 58
Посмотрите в сторону бесплатного BrowserAutomationStudio. Создавайте автономные многопоточные приложения бесплатно и без навыков программирования.
Это бесплатный аналог зеннопостера. Доволи таки неплохой. С парсингом справляется. Прокси поддерживает. Антикапчу тоже.
Компилируется в ехе файл.Последний раз редактировалось lipshets; 07.09.2016 в 16:51. Причина: Дополнил.
- 0
Похожие темы
| Темы | Раздел | Ответов | Последний пост |
|---|---|---|---|
Вакансия, СНГ, удалённо, Специалист по парсингу, от 20 000 руб. | Предложения работы | 0 | 08.07.2016 15:42 |
Экономим благодаря автоматизированному парсингу сайтов с помощью Kimono и таблиц Google | Дайджест блогосферы | 0 | 25.03.2015 14:34 |
Вопрос по парсингу базы площадок в SAPE | Вопросы от новичков | 0 | 07.04.2014 15:44 |
Вопрос по парсингу информации с определённых div | Оффтоп и свободные темы | 0 | 15.01.2014 20:59 |
Предлагаю услуги по парсингу контента/сайтов/картинок/сбора телефонных номеров и др. | Другая работа | 11 | 09.05.2013 08:46 |
---------- addurl adsense facebook google html proxy sitemap vkontakte xrumer zennoposter аккаунт база блог больший быть видео вконтакт вопрос гугл делать деть домен есть запрос кейс контент купить месяц может можно новый нужный парсер плагин проблема программа продажа продвижение работа работать регистрация сайт сделать сервис сеть скрипт слово ссылка стать статья стоимость страница тариф текст тема трафик файл цена яндекс
Тем:
77,547Сообщений:
762,325Пользователей:
30,079Сейчас на сайте:
1 пользователей и 313 гостей
