[MasterLee]

Доброго времени суток! Назрел вопрос - как спарсить список доменом из рейтинга LiveInternet? Пробовал парсить с помощью ContentDownloader, но ничего из этого не выходит. Другие сайты без проблем парсит. Я так понимаю, что все дело из-за скрипта, который и выводит рейтинг в LI. Так собственно вопрос - как теперь быть, как обойти этот скрипт и все же получить список доменов? Заранее спасибо!

[Coder]

_http://simplehtmldom.sourceforge.net/manual.htm

[kimandrew]

MasterLee, Liveinternet наверняка старается бороться с такими как вы. Я пробовал парсить с использованием python scrapy и тоже долго не мог понять в чем дело. Но все очевидно, вся инфа генерится js скриптом. Поэтому нужен реальный браузер, а не парсер запросов. Для этого хорошо подходит например selenium.

[suvoroff]

зеннопостер на раз два сделает

[Anna GAevska]

Поддержу, зенка работает гуд.

[pyramida]

с помощью ContentDownloader

можно, если у Вас UTLIMATE версия. В ней используется WBApp который эмулирует работу браузера. Можно парсить и выдачу гугл яндекс. Почитайте различия версий там все написано.

[brainix]

Код:

https://www.liveinternet.ru/rating/ru//today.tsv?page=1

Сложно js посмотреть, да?