Ищу программу для массовой проверки robots.txt

(Ответов: 4, Просмотров: 918)
  1. А компот??!!
    • Регистрация: 28.11.2011
    • Сообщений: 2,067
    • Репутация: 720
    • Webmoney BL: ?
    Ищу программу для массовой проверки robots.txt
    То есть, допустим собрал я базу сайтов и мне нужно посмотреть открыта ли например страница /pag1/ если да, то сайт сохраняется в (блокноте или программе) как успешно.
    • 0
  2. Дипломник
    • Регистрация: 19.12.2009
    • Сообщений: 145
    • Репутация: 32
    есть идеи по написанию такого скрипта, но не знаю насколько востребованным он будет..
    • 0
  3. Гуру Аватар для dobrik
    • Регистрация: 26.07.2011
    • Сообщений: 510
    • Репутация: 112
    • Webmoney BL: ?
    Пока трастовые базы живы, будет нужен такой скрипт! Если напишешь, покупать будут только в путь!

    Сам недавно искал такой скрипт, но его нет!
    • 0
  4. Дипломник
    • Регистрация: 19.12.2009
    • Сообщений: 145
    • Репутация: 32
    dobrik,
    хмм
    значит постараюсь на днях выделить время и написать
    • 0
  5. Banned
    • Регистрация: 03.06.2011
    • Сообщений: 596
    • Репутация: 243
    • Webmoney BL: ?
    Есть подобная программа, писал для себя, только есть минус, что она не определяет индексируется страница или нет, если мы просто введем название страницы pag1, а эта страница находится по адресу site.ru/kat/pag1, а в роботсе весь kat закрыт от индексации, а значит и страница закрыта.
    Но уже если введем kat, то программа определит, что страница закрыта от индексации. Ну думаю поняли, для моих нужд программа подходит. Такая нужна ?
    Последний раз редактировалось likos; 12.04.2012 в 05:36.
    • 0

Похожие темы

Темы Раздел Ответов Последний пост
Определяйка - программа для массовой проверки показателей
Софт, скрипты, сервисы 26 01.09.2013 17:51
Подскажите сервис для массовой проверки проиндексированности страниц
Софт, скрипты, сервисы 4 30.01.2012 05:37
Продам программу для массовой рассылки почты
Софт, скрипты, лицензии 1 22.08.2011 15:59
Подскажите пожалуйста прогу для массовой проверки PR внутренних страниц сайта.
Софт, скрипты, сервисы 4 09.11.2010 21:00
Скрипт массовой проверки фтп-аккаунтов на валидность
Софт, скрипты, сервисы 9 24.09.2009 01:01

У кого попросить инвайт?

Вы можете попросить инвайт у любого модератора:

Информеры