Недавно написал прогу по парсингу прямого эфира яндекса. Программа по-сути аналогична с [Бесплатно] Парсер прямого эфира Яндекса Колян 2.0 но есть пара улучшений:
- все данные пишутся в базу
- перед добавление ключа, он проверяется на уникальность, добавляются только уникальные значения
- не уникальные значения суммируются (т.е. по-сути есть своеобразная частотность).
Текущий размер базы данных - 65 миллионов записей (собрано чуть более чем за сутки).
Кому необходимо - могу предоставить выгрузку по интересующим ключам (естественно бесплатно)
Отдельно хочу сказать спасибо Gann он задавал неудобные вопросы и в следствии этого я переписал программу. Надо сказать, что скорость работы ее после исправления замечаний увеличилась более чем в 10 раз. Текущая скорость - порядка 1 000 000 записей за 20 минут (естественно добавляются не все, а сначала проверяются на дубли)
[Бесплатно] Выгрузка данных из прямого эфира яндекса
(Ответов: 12, Просмотров: 1688)
07.11.2015 13:36Разработка любых сайтов
- Регистрация: 08.06.2011
- Сообщений: 3,375
- Записей в дневнике: 1
- Репутация: 2506
Последний раз редактировалось ArhStrAngeR; 07.11.2015 в 14:56.
- 10
Спасибо сказали:
Alexander L.(07.11.2015), Avot(07.11.2015), Dvoryashin(07.11.2015), Gann(09.11.2015), Laker(07.11.2015), M_W(07.11.2015), nashkomputer(09.11.2015), suvoroff(08.11.2015), ToXaD3(09.11.2015), Vmir(07.11.2015),- 07.11.2015 13:41Студент
- Регистрация: 24.03.2013
- Сообщений: 88
- Репутация: 59
Давайте буду первым в очереди :) ключ скинул в личку. Очень интересно посмотреть в конкурентной нише, возможно будут суперНЧ, по которым можно собирать трафф.
- 0
- 07.11.2015 13:42shit happens
- Регистрация: 17.12.2012
- Сообщений: 406
- Репутация: 167
А саму программу распространять не планируете?
- 0
- 07.11.2015 13:44Творец
- Регистрация: 01.05.2013
- Сообщений: 1,107
- Репутация: 294
ArhStrAngeR, спасибо, вписываюсь
.Скрытый текст (вы должны войти под своим логином или зарегистрироваться и иметь 2111 сообщение(ий)):У вас нет прав чтобы видеть скрытый текст, содержащийся здесь.- 0
- 07.11.2015 14:41Разработка любых сайтов
- Регистрация: 08.06.2011
- Сообщений: 3,375
- Записей в дневнике: 1
- Репутация: 2506
отправил обратно в личку.
Сообщение от Alexander L. 
пока не планировал Сообщение от Avot
К сожалению не сильно много ключей нашел по вашему ключу Сообщение от M_W Скрытый текст (вы должны войти под своим логином или зарегистрироваться и иметь 589 сообщение(ий)):У вас нет прав чтобы видеть скрытый текст, содержащийся здесь.Последний раз редактировалось ArhStrAngeR; 07.11.2015 в 14:55.
- 1
Спасибо сказали:
M_W(07.11.2015), - 07.11.2015 15:21
Отписал в личку. Заранее спасибо :)
- 0
- 07.11.2015 15:43Творец
- Регистрация: 01.05.2013
- Сообщений: 1,107
- Репутация: 294
ArhStrAngeR, а если попробовать по другому ключу
?Скрытый текст (вы должны войти под своим логином или зарегистрироваться и иметь 2112 сообщение(ий)):У вас нет прав чтобы видеть скрытый текст, содержащийся здесь.- 0
- 07.11.2015 16:38Разработка любых сайтов
- Регистрация: 08.06.2011
- Сообщений: 3,375
- Записей в дневнике: 1
- Репутация: 2506
Скрытый текст (вы должны войти под своим логином или зарегистрироваться и иметь 590 сообщение(ий)):У вас нет прав чтобы видеть скрытый текст, содержащийся здесь.- 1
Спасибо сказали:
M_W(07.11.2015), - 07.11.2015 18:27Опытный
- Регистрация: 21.11.2013
- Сообщений: 407
- Репутация: 58
Отправил также в личку. Спасибо! )
- 0
- 09.11.2015 02:32Опытный
- Регистрация: 05.12.2014
- Сообщений: 285
- Репутация: 20
ArhStrAngeR,
ТС, спасибо за супер тему!
Меня интересует: компьютерная помощь Москва.
- 0
Похожие темы
| Темы | Раздел | Ответов | Последний пост |
|---|---|---|---|
Бесплатная выгрузка данных с SEMRush, Ahrefs и Prodvigator | Бесплатное на форуме | 216 | 07.09.2020 11:36 |
[Бесплатно] Парсер прямого эфира Яндекса Колян 2.0 | Бесплатное на форуме | 39 | 14.04.2018 16:15 |
Выгрузка данных из SpyWords | Другая работа | 9 | 21.09.2015 17:08 |
2 000 000 поисковых запросов из прямого эфира Яндекса (без дублей) | Бесплатное на форуме | 20 | 10.05.2015 20:12 |
Поделитесь парсером прямого эфира Яндекса | Софт, скрипты, сервисы | 10 | 18.11.2012 16:48 |
addurl adsense cpa html proxy radikal wordpress yandex yandex.ru youtube zennoposter аккаунт баннер блог быть вконтакт год гугл деть добавить думать есть кейс ключ конечный контент магазин место может накрутка нужный отзыв оффера парсер партнёрка партнёрская программа первый программа продажа продвижение прокси просто работа работать регистрация рубль сайт сделать сервис скрипт сообщение софт ссылка стать страница трафик хороший хостинг цена яндекс
Тем:
77,580Сообщений:
762,950Пользователей:
30,080Сейчас на сайте:
0 пользователей и 159 гостей
