[kodzero]

Помогите пожалуйста проверить правильность правил в robots.txt

Задача , чтобы поисковый робот не мог индексировать предположим http://mysite.ru/cuffs/cuffs , но мог индексировать все страницы глубже в http://mysite.ru/cuffs/cuffs/* , за исключением http://mysite.ru/cuffs/cuffs/page и все что глубже.

Для данной задачи я бы написал правила в таком виде и порядке:
Allow: /cuffs/cuffs/*
Disallow: /cuffs/cuffs
Disallow: /cuffs/cuffs/page

Верно ли это с Вашей точки зрения?


Вот собственно сам весь свод правил на данный момент, может заметите что-то неверное или дополните чем-то полезным?

Код:

User-agent: *
Allow: /wp-content/uploads/
Allow: /cuffs/mini-cuffs/*
Allow: /cuffs/cuffs-dragons/*
Allow: /cuffs/cuffs-snake/*
Allow: /cuffs/cuffs-ear/*
Allow: /cuffs/earrings-cuffs/*
Allow: /cuffs/cuff-copyrights/*
Allow: /cuffs/sergi/*
Allow: /cuffs/cuffs/*
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /feed/
Disallow: /*/?replytocom=*
Disallow: /*?*
Disallow: /*?
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-content/cache
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /cuffs/mini-cuffs
Disallow: /cuffs/cuffs-dragons
Disallow: /cuffs/cuffs-snake
Disallow: /cuffs/cuffs-ear
Disallow: /cuffs/earrings-cuffs
Disallow: /cuffs/cuff-copyrights
Disallow: /cuffs/sergi
Disallow: /cuffs/cuffs
Disallow: /cuffs/mini-cuffs/page
Disallow: /cuffs/cuffs-dragons/page
Disallow: /cuffs/cuffs-snake/page
Disallow: /cuffs/cuffs-ear/page
Disallow: /cuffs/earrings-cuffs/page
Disallow: /cuffs/cuff-copyrights/page
Disallow: /cuffs/sergi/page
Disallow: /cuffs/cuffs/page

User-agent: Yandex
Allow: /wp-content/uploads/
Allow: /cuffs/mini-cuffs/*
Allow: /cuffs/cuffs-dragons/*
Allow: /cuffs/cuffs-snake/*
Allow: /cuffs/cuffs-ear/*
Allow: /cuffs/earrings-cuffs/*
Allow: /cuffs/cuff-copyrights/*
Allow: /cuffs/sergi/*
Allow: /cuffs/cuffs/*
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /feed/
Disallow: /*/?replytocom=*
Disallow: /*?*
Disallow: /*?
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-content/cache
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /cuffs/mini-cuffs
Disallow: /cuffs/cuffs-dragons
Disallow: /cuffs/cuffs-snake
Disallow: /cuffs/cuffs-ear
Disallow: /cuffs/earrings-cuffs
Disallow: /cuffs/cuff-copyrights
Disallow: /cuffs/sergi
Disallow: /cuffs/cuffs
Disallow: /cuffs/mini-cuffs/page
Disallow: /cuffs/cuffs-dragons/page
Disallow: /cuffs/cuffs-snake/page
Disallow: /cuffs/cuffs-ear/page
Disallow: /cuffs/earrings-cuffs/page
Disallow: /cuffs/cuff-copyrights/page
Disallow: /cuffs/sergi/page
Disallow: /cuffs/cuffs/page
Host: cuff.ru

Sitemap: http://cuff.ru/sitemap.xml

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: YandexImages
Allow: /wp-content/uploads/

User-agent: ia_archiver
Disallow: /

[lazy_bones]

kodzero, robots.txt чаще всего игнорируют поисковые системы. Если хотите более надежно запретить индексировать, то лучше использовать метатеги noindex, nofollow их поисковые системы хотя бы воспринимают.

[kodzero]

lazy_bones, Такой возможности к сожалению нет, там самогенеращиеся страницы интернет магазина Woocommerce, кое где есть неровности, куда этот мета тег не залить.
Вроде robots.txt работает в гугле, покрайте менее так показал результат из поисковой строки site:mysite:ru, далее можно сравнить со скрытыми результаты, robots.txt делал буквально позле вчера, уже схватило. (Испытуемый сайт можно найти в строчке карта сайт)

[lazy_bones]

http://help.yandex.ru/webmaster/?id=996567

Совместное использование директив.

Директивы Allow и Disallow из соответствующего User-agent блока сортируются по длине префикса URL (от меньшего к большему) и применяются последовательно. Если для данной страницы сайта подходит несколько директив, то выбирается последняя в порядке появления в сортированном списке. Таким образом порядок следования директив в файле robots.txt не влияет на использование их роботом. Примеры:

Чтобы не мудрить это все, то я бы лучше нашел решение с meta так как есть куча плагинов, которые позволяют как ставить meta как для каждой отдельной страницы, так и для категорий и по маске ..