[Hita4]

Приветствую, коллеги!

Есть задача: нужно вытащить из выдачи Яндекса УРЛы одного сайта определенного УРОВНЯ вложенности.

Например для интернет-магазина example.com, требуется найти все "мусорные" страницы 6 уровня, которые генерируются CMS внутри категорий. Пример такого УРЛ: example.com/shop/elektronika/category/televizory/televizory-price-2000-to-10000/

Заранее скажу, что страницы закрыты от индексации метатегом robots, но робот не торопится их посещать. Поэтому хотелось бы составить список страниц, которые остались в индексе и их принудительно переобойти.

Составил начало запроса, но не хватает знаний, чтобы собственно выделить страницы только 6 уровня (выделять по запросу не вариант).

site:example.com inurl:category

Прошу помочь, заранее спасибо!

[Marafet]

Спарсите xenu и выделите регулярными выражениями

[Hita4]

Marafet, каталог динамический, тех страниц уже нет в структуре, но они продолжают "висеть" в выдаче