[Dolmatov]

Ищу программу для массовой проверки robots.txt
То есть, допустим собрал я базу сайтов и мне нужно посмотреть открыта ли например страница /pag1/ если да, то сайт сохраняется в (блокноте или программе) как успешно.

[ctapbiu]

есть идеи по написанию такого скрипта, но не знаю насколько востребованным он будет..

[dobrik]

Пока трастовые базы живы, будет нужен такой скрипт! Если напишешь, покупать будут только в путь!

Сам недавно искал такой скрипт, но его нет!

[ctapbiu]

dobrik,
хмм
значит постараюсь на днях выделить время и написать

[likos]

Есть подобная программа, писал для себя, только есть минус, что она не определяет индексируется страница или нет, если мы просто введем название страницы pag1, а эта страница находится по адресу site.ru/kat/pag1, а в роботсе весь kat закрыт от индексации, а значит и страница закрыта.
Но уже если введем kat, то программа определит, что страница закрыта от индексации. Ну думаю поняли, для моих нужд программа подходит. Такая нужна ?