[MetalMessiah]

Задача - собрать базу доменов из определенного 2LD.

Исходные данные: из официального пресс-релиза в зоне 90 тыс доменов.
Парсингом SERP (Yandex XML) по 300 общим запросам по разным темам набрано 19 тыс доменов
(реально 19 тыс из 300 тыс страниц в выдаче это мало; для исследования надо хотя бы треть, т.е. 30 тыс)

Вопрос: где взять остальные?

Остальные - это не проиндексированные Яндексом, это домены на которых нет сайта, домены с парковочной страницей и т.д.

Плохие идеи: пропарсить еще и Гугл, полный перебор 3-4 буквенных доменов + английский словарь + русский словарь в транслите.
Есть какой более эффективный метод?

[Zzorge]

MetalMessiah, попробовать попарсить каталоги?

[MetalMessiah]

Приходила такая мысль, но в среднепотолочном каталоге несколько тысяч сайтов, из них в нужной мне доменной зоне от силы десяток. К тому же если сайт прогонялся по каталогам значит он уже в индексе Яндекса значит я его уже знаю... А мне сейчас нужна та самая темная материя которой нет в Яндексе

[Красавчег]

пропарсить еще и Гугл, полный перебор 3-4 буквенных доменов + английский словарь + русский словарь в транслите.

Ужас какой. Зачем такие напряги, если базы .com .net .info .biz можно например "незадорого" купить у меня. Сейчас глянул, вроде лежат на диске. Правда они полуторагодичной давности, но думаю от этого действительно живые и рабочие сдл'ы на этих доменах не умерли.

[likos]

Можно продолжить парсить выдачу, только не просто по запросу inurl:".com(или нужная вам зона)", а и по запросу с окончанием одной-двух букв, цифр, например inurl:"a.com", inurl:"9.com" и т.д.

[MetalMessiah]

Красавчег, если бы у тебя были базы региональных украинских доменов (3 уровня) может и купил бы, но их у тебя нет.
Они есть только у ООО Хостмастер и 4-5 человек активно работающих по этим зонам. Не видел чтобы они светились с продажей.

likos, то что надо! а то получалось что на 1 запрос можно собрать только 1000 результатов, много повторов. Пройдусь еще по запросам с буквой перед точкой, посмотрю насколько больше доменов всплывет

[Dolmatov]

ТС напиши что такое 2LD
а то та кто у меня есть база все доменов зоне RU SU РФ

[MetalMessiah]

методом подстановки буквы и цифры в конец собрал еще чуть больше 50 доменов. Яндекс выдал все что знал... Видимо дальше только непроиндексированные домены которые надо добывать пробивом WHOIS по словарю...

ТС напиши что такое 2LD

я имел в виду украинские региональные домены вида xxx.odessa.ua / xxx.od.ua, xxx.if.ua, xxx.dp.ua итд

[swed]

MetalMessiah, попробуйте то же самое собрать еще через гугл, он все таки основной поисковик в украине, может знать больше ))

[Dolmatov]

Можно попробовать так

Код HTML:

inurl:".odessa.ua" "/"