Недавно написал прогу по парсингу прямого эфира яндекса. Программа по-сути аналогична с [Бесплатно] Парсер прямого эфира Яндекса Колян 2.0 но есть пара улучшений:
- все данные пишутся в базу
- перед добавление ключа, он проверяется на уникальность, добавляются только уникальные значения
- не уникальные значения суммируются (т.е. по-сути есть своеобразная частотность).
Текущий размер базы данных - 65 миллионов записей (собрано чуть более чем за сутки).
Кому необходимо - могу предоставить выгрузку по интересующим ключам (естественно бесплатно)
Отдельно хочу сказать спасибо Gann он задавал неудобные вопросы и в следствии этого я переписал программу. Надо сказать, что скорость работы ее после исправления замечаний увеличилась более чем в 10 раз. Текущая скорость - порядка 1 000 000 записей за 20 минут (естественно добавляются не все, а сначала проверяются на дубли)
[Бесплатно] Выгрузка данных из прямого эфира яндекса
(Ответов: 12, Просмотров: 1458)
07.11.2015 13:36Разработка любых сайтов
- Регистрация: 08.06.2011
- Сообщений: 3,376
- Записей в дневнике: 1
- Репутация: 2506
Последний раз редактировалось ArhStrAngeR; 07.11.2015 в 14:56.
- 10
Спасибо сказали:
Alexander L.(07.11.2015), Avot(07.11.2015), Dvoryashin(07.11.2015), Gann(09.11.2015), Laker(07.11.2015), M_W(07.11.2015), nashkomputer(09.11.2015), suvoroff(08.11.2015), ToXaD3(09.11.2015), Vmir(07.11.2015),- 07.11.2015 13:41Студент
- Регистрация: 24.03.2013
- Сообщений: 88
- Репутация: 59
Давайте буду первым в очереди :) ключ скинул в личку. Очень интересно посмотреть в конкурентной нише, возможно будут суперНЧ, по которым можно собирать трафф.
- 0
- 07.11.2015 13:42shit happens
- Регистрация: 17.12.2012
- Сообщений: 407
- Репутация: 167
А саму программу распространять не планируете?
- 0
- 07.11.2015 13:44Творец
- Регистрация: 01.05.2013
- Сообщений: 1,107
- Репутация: 294
ArhStrAngeR, спасибо, вписываюсь
.Скрытый текст (вы должны войти под своим логином или зарегистрироваться и иметь 2111 сообщение(ий)):У вас нет прав чтобы видеть скрытый текст, содержащийся здесь.- 0
- 07.11.2015 14:41Разработка любых сайтов
- Регистрация: 08.06.2011
- Сообщений: 3,376
- Записей в дневнике: 1
- Репутация: 2506
отправил обратно в личку.
Сообщение от Alexander L. 
пока не планировал Сообщение от Avot
К сожалению не сильно много ключей нашел по вашему ключу Сообщение от M_W Скрытый текст (вы должны войти под своим логином или зарегистрироваться и иметь 589 сообщение(ий)):У вас нет прав чтобы видеть скрытый текст, содержащийся здесь.Последний раз редактировалось ArhStrAngeR; 07.11.2015 в 14:55.
- 1
Спасибо сказали:
M_W(07.11.2015), - 07.11.2015 15:21
Отписал в личку. Заранее спасибо :)
- 0
- 07.11.2015 15:43Творец
- Регистрация: 01.05.2013
- Сообщений: 1,107
- Репутация: 294
ArhStrAngeR, а если попробовать по другому ключу
?Скрытый текст (вы должны войти под своим логином или зарегистрироваться и иметь 2112 сообщение(ий)):У вас нет прав чтобы видеть скрытый текст, содержащийся здесь.- 0
- 07.11.2015 16:38Разработка любых сайтов
- Регистрация: 08.06.2011
- Сообщений: 3,376
- Записей в дневнике: 1
- Репутация: 2506
Скрытый текст (вы должны войти под своим логином или зарегистрироваться и иметь 590 сообщение(ий)):У вас нет прав чтобы видеть скрытый текст, содержащийся здесь.- 1
Спасибо сказали:
M_W(07.11.2015), - 07.11.2015 18:27Опытный
- Регистрация: 21.11.2013
- Сообщений: 407
- Репутация: 58
Отправил также в личку. Спасибо! )
- 0
- 09.11.2015 02:32Опытный
- Регистрация: 05.12.2014
- Сообщений: 286
- Репутация: 20
ArhStrAngeR,
ТС, спасибо за супер тему!
Меня интересует: компьютерная помощь Москва.
- 0
Похожие темы
| Темы | Раздел | Ответов | Последний пост |
|---|---|---|---|
Бесплатная выгрузка данных с SEMRush, Ahrefs и Prodvigator | Бесплатное на форуме | 216 | 07.09.2020 11:36 |
[Бесплатно] Парсер прямого эфира Яндекса Колян 2.0 | Бесплатное на форуме | 39 | 14.04.2018 16:15 |
Выгрузка данных из SpyWords | Другая работа | 9 | 21.09.2015 17:08 |
2 000 000 поисковых запросов из прямого эфира Яндекса (без дублей) | Бесплатное на форуме | 20 | 10.05.2015 20:12 |
Поделитесь парсером прямого эфира Яндекса | Софт, скрипты, сервисы | 10 | 18.11.2012 16:48 |
adsense cpa google proxy yandex youtube zennoposter аккаунт база банка быть версия вечный вконтакт гугл день есть запрос идея изменение импорт использовать качественный кейс ключ комплексный контакт купить место можно монетизация новый нч-сч парсинг партнерский партнёрка партнёрская программа платформа поинт поинтовый прогон программа продвинуть работа ресурс рост сайт скрипт спам ссылка стать стоимость страна тариф тиц-пр трастовый трафик учет хватать шаблон
Тем:
77,476Сообщений:
761,518Пользователей:
30,076Сейчас на сайте:
1 пользователей и 172 гостей
