Закрывать ли от индексац...

[Gann]

Привет!

На сайте много PDF файлов - это описания-паспорта конкретных изделий. Общие описания - в категориях на сайте, пдф вроде как и вообще не нужны в выдаче.

Стоит ли закрывать папку с пдфками в роботсе? или пусть будут в выдаче?
Сам склоняюсь к закрытию. Сейчас они в выдаче.

[Fartuna]

Gann,Я закрывал их, чтобы в выдачи не болтались.

Закрывал не папку, а в robots прописывал

Код HTML:

Disallow: /*.pdf

[Coder]

а в robots прописывал

Не для всех может работать:

Символы подстановки скрывают за собой один или несколько символов. Наиболее часто употребляющийся символ — «*», который обозначает ноль и более символов. Использование символов подстановки в файле robots.txt не предусмотрено, кроме указания всех остальных поисковых систем в директиве User-agent, однако в директиве Disallow данный символ в протоколе не интерпретируется никак иначе самого себя.
Однако Google в своих алгоритмах допускает использование символа «*» в качестве «множества любых символов», а также символа «$» в качестве «конца строки».

По конкретному вопросу ТС можно посмотреть

Некоторые системы разрешают использование регулярных выражений. Так Гугл, который имеет поиск по изображениям, файлам PDF и другим, поддерживает в поле Disallow символы «*» (любая последовательность символов) и «$» (окончание строки ссылки). Это позволяет запретить индексирование определенного типа файлов:
User-agent: Googlebot
Disallow: *.pdf$
#Запрет индексации файлов PDF

По мнению автора это избыточное расширение, так как с тем же успехом можно вынести все документы PDF в отдельный каталог и запретить его индексирование:
User-agent: *
Disallow: /pdf/

[M_W]

User-agent: *
Disallow: /pdf/

так таким образом закрывается разве папка? Или я что-то не разумею?

[Coder]

так таким образом закрывается разве папка?

Ну да - перенести все pdf документы в папку и закрыть ее.

Или как она должна закрываться?