Всем привет. У меня есть задача - спарсить все проиндексированные страницы Яндекса и Гугла моего сайта и получить их в виде списка. Возможно ли это в принципе, если количество проиндексированных страниц больше 30 000, либо нужен сначала парсить весь сайт, (с помощью Xenu, например) а потом загонять в определенные сервисы и там уже смотреть - что проиндексировано, что нет ? Кто вообще чем пользуется в таких ситуациях ? Есть ли какие-то по этому вопросу адекватные истории для таких объемов ?