[M25]

Имеется большой список урлов.
Интересует, какие из них запрещены к индексации в соответствующем роботсе. (учитывая юзерагенты)

Если чекаются и метатеги на предмет noindex, было бы вообще классно

[Весёлый химик]

Если для своего сайта - то в вебмастере яндекса есть проверка на запрет индексации в robots.txt Там нигде про ограничение на количество проверяемых урлов нет.

[tanatos]

Весёлый химик,
в яндексе при проверке стоит капча, и проверку можно делать только по одному урлу за раз.

M25
к сожалению такого не встречал

[viotur]

RDS выполняет эти задачи

[Весёлый химик]

tanatos, эм, у меня капчи нет, может она при большом количестве проверок появляется. Я имел в виду, что свой сайт добавить в яндекс.вебмастер.

[M25]

сайт не мой. имеется большой список урлов с разных доменов

rds явно не подходит

[efr07]

Попробуй программу Linking The Web должна подойти по твоим критериям.

[tanatos]

У меня стоит Linking The Web , то проверки на запрет в robots не нашел. Там проверяется только на наличие на странице.

[M25]

Попробуй программу Linking The Web должна подойти по твоим критериям.

как выше сказал efr07, она чуть для других целей.

еще предлагайте, пожалуйста

[viotur]

M25, можно уточнить, чем именно не подходит RDS ? Что необходимо другое? В чем должно быть отличие от него? напишите более подробно - проще будет дать ответ.