[PermProd]

Коллеги, доброе утро. Я работаю в узкой нише, есть необходимость собрать всех конкурентов с привязкой к регионам.
Пока на ум приходить только спарсить всю выдачу Яндекса, проверить региональность сайтов, а дальше уже анализировать сайты.

Возможно, у кого-то есть решение, как с меньшими трудозатратами решить эту загадку.

[Rush Agency]

PermProd, добрый день!

Какая задача стоит перед Вами? Зачем нужно парсить регионы сайтов конкурентов? Если ищете по Москве, соответственно выдача московская.

[PermProd]

Зачем нужно парсить регионы сайтов конкурентов?

Работаю по всей России, но если совсем точно, то по черноземью. Я не занимаюсь производством, я занимаюсь перепродажей оборудования в очень узкой сфере. Производство в основном зарубежное, но есть и наши продукты, но это не суть.

Таких компаний, как наша, достаточно много. Если по нашему региону мы их знаем, то по России нет, а это наши прямые партнеры/конкуренты, все друг у друга покупают и т.д. Задача поставлена для того, чтобы собрать базу всех компаний для организации дилерской сети.

Пока на ум пришло только одно решение, которое подсказал Vladimir-AWM, написание парсера, который будет в один поток парсить выдачу яндекса (останется только проставить вручную региональность выдачи + настроить антикапчу)

[zhurik]

Ну кей коллектором же. Добавляете нужные ключи. Парсите выдачу по этим ключам с указанием региона, в настройках KEI нужно выставить сканировать ТОП 10 или ТОП20 например, я думаю ТОП 10 хватит (вроде даже по умолчанию так выставлено). После парсите данные KEI ("получить все данные"). После в той же кнопочке KEI жмете "экспортировать данные о поисковой выдаче". И все - получаете табличку с урлами спаршенными по вашим ключам, их сниппетами и т.д.

Ну таким способом по нормально можно по яндексу работать, а по гуглу только с геозапросами "купить металлообрабатывающий станок в Москве".

[PermProd]

zhurik, если бы эту задачу я мог решить KC, я бы обязательно это сделал. А теперь объясню, почему нельзя сделать так, как ты говоришь:

я занимаюсь перепродажей оборудования в очень узкой сфере.

Первые 10-15 страниц выдачи по всем регионам - это примерно одни и те же сайты, либо поддомены на регионы. Меня интересует полная выдача или хотя бы с первой по 100 страницу выдачи по всем регионам.

KC предлагаешь делать? Я думаю, ты знаешь, сколько стоят индивидуальные приватные прокси. Я на 5-7 качественных проектов в неделю закупаю 15-20 прокси в месяц. Для того, чтобы спарсить данные по всем выдачам по 100 страницам, понадобится огромное кол-во, а это очень большая цена. Такое решение мне не подходит

[zhurik]

PermProd, XML лимиты можно юзать ))) правда на больших объемах тоже дороговато выйдет, но если есть много своих сайтов с большими лимитами, то норм.

[PermProd]

правда на больших объемах тоже дороговато выйдет

Мне один из постоянных поставщиков прокси озвучил примерную цену парсера в 800 рублей. А вот твой вариант чуть дешевле прокси.

Я же не свои деньги плачу, а деньги компании. А компании надо что - правильно, чтобы подешевле было и работало.