Парсинг сайтов любых объёмов

(Ответов: 7, Просмотров: 685)
  1. Новичок
    • Регистрация: 24.02.2012
    • Сообщений: 10
    • Репутация: 0
    Здравствуйте. Я программист с десятилетним опытом разработки программ. Моя область экспертизы - парсинг сайтов и обработка данных. Я успешно завершил более 300 проектов парсинга сайтов.

    Мой опыт:
    * Парсинг больших сайтов, содержащих миллионы страниц
    * Использование прокси для обхода защиты сайтов от парсинга
    * Парсинг сайтов, защищённых каптчей
    * Парсинг динамических-сайтов, работающих на javascript (AJAX)
    * Извлечение данных из открытых API веб-сервисов
    * Обработка данных в XML, JSON, CSV документах
    * Хранение и обработка данных в Redis, MongoDB, MySQL и Postgresql базах данных
    * Построение веб-интерфейсов для управления парсерами сайтов
    * Построение сложных систем обработки данных из множества источников
    * Успешно завершил более 300 проектов парсинга сайтов.

    Примеры выполненных проектов: http://getdata.pro/ru/project

    Я автор открытого python фреймворка парсинга сайтов http://github.com/lorien/grab. Я использую этот фреймворк в большинство моих проектов парсинга сайтов
    .
    Я буду рад поработать в интересном проекте, связанном с парсингом сайтов и обработкой данных. Вы можете связаться со мной через email или skype и мы подробно обсудим ваш проект, я назову цену и время, необходимое для сбора данных.

    Мои контакты:
    * email: support@getdata.pro
    * skype: skype: lorien.name
    • 0
  2. Творец Аватар для M_W
    • Регистрация: 01.05.2013
    • Сообщений: 1,107
    • Репутация: 294
    Отписал Вам в лс, спасибо.
    • 0
  3. Опытный Аватар для biogeniy
    • Регистрация: 06.05.2013
    • Сообщений: 316
    • Репутация: 19
    Указывайте цены.
    • 0
  4. Новичок
    • Регистрация: 24.02.2012
    • Сообщений: 10
    • Репутация: 0
    Как я укажу цену без конкретного ТЗ? Ок, вот вам цена: от 50 до 5000 USD :)
    Обычный ценник где-то 100-200 USD
    Всё зависит от ТЗ.
    Последний раз редактировалось lorien; 21.05.2015 в 02:12.
    • 0
  5. Студент Аватар для Kipwpartner
    • Регистрация: 07.09.2012
    • Сообщений: 49
    • Репутация: 25
    Добрый день. Вы сможете спарсить базу е-маил с сервиса 2gis.ua? по сервисам "ремонт бойлеров" например. Спасибо.
    Сайт - lin-keeper.ru
    • 0
  6. Новичок
    • Регистрация: 24.02.2012
    • Сообщений: 10
    • Репутация: 0
    Добрый день. Там всего 179 организаций или я что-то не так понял?
    • 0
  7. Гуру Аватар для Brovik
    • Регистрация: 05.02.2012
    • Сообщений: 1,045
    • Репутация: 483
    • Webmoney BL: ?
    сколько примерно будет спарсить сайт у которого несколько миллионов страниц?
    • 0
  8. Новичок
    • Регистрация: 24.02.2012
    • Сообщений: 10
    • Репутация: 0
    Пожалуйста, читайте выше ответ про от $50 до $5000
    Обсуждать цену без ТЗ *БЕЗСМЫСЛЕННО*.

    Например, спарсить сайт на 50 тысяч страниц может оказаться сложнее, чем трёх-миллионник т.к. в первом случае будет структура данных сложнее на порядок.
    Последний раз редактировалось lorien; 21.05.2015 в 21:16.
    • 0

Похожие темы

Темы Раздел Ответов Последний пост
Парсинг сайтов, товаров с любых магазинов, наполнение сайтов на базе Wordpress, WP+Woocommerce, Opencart etc
Другая работа 18 11.04.2019 03:54
Перенос любых сайтов на Wordpress
Другая работа 6 08.10.2017 17:26
Парсинг, наполнение сайтов, регистрации, перенос сайтов ...
Копирайтинг, переводы, постинг 15 24.02.2016 22:51
парсинг любых сайтов и разработка PHP скриптов
Другая работа 5 06.02.2013 22:01
парсинг любых сайтов и разработка PHP скриптов
Создание сайтов 3 24.01.2013 13:11

У кого попросить инвайт?

Вы можете попросить инвайт у любого модератора:

Информеры