Robot.txt закрытие автогенерирующихся страниц, есть возможность?

(Ответов: 3, Просмотров: 608)
  1. Опытный Аватар для Pirat
    • Регистрация: 20.09.2012
    • Сообщений: 252
    • Репутация: 53
    Добрый день!
    В интернет магазине необходимо скрыть страницы от ПС, товарных позиций порядка 10000 шт

    1. ссылка Категории 1 выглядят так:
    /cat100-GIPSOKARTON_I_KOMPLEKTYUShIE.html

    2. ссылка Подкатегории 2 выглядит так:
    /cat128-Gipsokartonnie_listi.html

    ссылка товарной позиции выглядит так:
    /prod248-Gipsokarton_VOLMA__vlagostoikiya_2500h1200h125.htm l

    Все ссылки имеют первый уровень вложенности
    При нажатии на "Категорию 1" появляется страница на которой присутствует весь товар из категории
    При нажатии на "Подкатегорию 2" отображаются товары вложенные в эту категорию

    Соответственно, сложность в том, что при закрытии "Категории 1" я закрываю все, что в ней и "Подкатегорию
    2", что делать не охота, ибо страницу "подкатегории 2" хотел использовать для оптимизации.

    Идея пришла, но не могу найти решения:
    Как закрыть в robot.txt все ссылки, такого формата
    /prod248-Gipsokarton_VOLMA__vlagostoikiya_2500h1200h125.htm l
    возможно ли прописать в роботе:
    Dissalow:/prod...
    ?

    пы.сы
    Был бы признателен услышать и другие советы
    Последний раз редактировалось Pirat; 19.06.2013 в 12:37.
    • 0
  2. Banned
    • Регистрация: 27.07.2012
    • Сообщений: 481
    • Репутация: 66
    • Webmoney BL: ?
    Pirat, сделано трудновато.
    Тут 2 пути:
    Легкий
    Если cms позволяет, то настроить через плагин категории и подгатегории вида site.ru/kategory1/tovar

    сложный:
    в этой теме дал ссылку на прогу stgrabber, которая собирает все урл сайта. можно собрать, а затем где нибудь отсеять все ссылки вида site.ru/prod


    Цитата Сообщение от Pirat Посмотреть сообщение
    Идея пришла, но не могу найти решения:
    Как закрыть в robot.txt все ссылки, такого формата
    /prod248-Gipsokarton_VOLMA__vlagostoikiya_2500h1200h125.htm l
    возможно ли прописать в роботе:
    Dissalow:/prod...
    ?
    насколько знаю, это не реализуемо, только если прописывать КАЖДУЮ ссылку
    • 0
  3. Гуру Аватар для genjnat
    • Регистрация: 30.11.2010
    • Сообщений: 2,888
    • Репутация: 2594
    • Webmoney BL: ?
    Я не очень понял что вы хотите запретить, если
    /prod248-Gipsokarton_VOLMA__vlagostoikiya_2500h1200h125.htm l
    То, да - Disallow: /prod
    Цитата Сообщение от nikita_lacoste Посмотреть сообщение
    насколько знаю, это не реализуемо
    Почему это - обычный запрет

    Закрыть это /cat128-Gipsokartonnie_listi.html, и оставить открытым это /cat100-GIPSOKARTON_I_KOMPLEKTYUShIE.html через роботс - не получится.
    Но можно попробовать метатегами meta name="robots"
    Последний раз редактировалось genjnat; 19.06.2013 в 13:05.
    • 1

    Спасибо сказали:

    Pirat(19.06.2013),
  4. Опытный Аватар для Pirat
    • Регистрация: 20.09.2012
    • Сообщений: 252
    • Репутация: 53
    Спасибо genjnat!
    Проверил через webmaster.yandex.ua/robots.xml действительно, не индексирует!
    Решение найдено, тему можно закрывать.
    • 0

Похожие темы

Темы Раздел Ответов Последний пост
Если есть возможность помочь
Оффтоп и свободные темы 7 24.03.2013 00:08
Страниц в поиске по вебмастеру нет, а в выдаче сайт есть - наложен фильтр?
Поисковые системы 3 16.03.2013 21:46
Закрытие страниц печати
Общие вопросы поисковой оптимизации 7 22.04.2012 22:16
WP Robot 3.58
Софт, скрипты, сервисы 1 08.02.2012 22:43
Закрытие в контакте.
Социальные сети 42 08.01.2012 05:55

У кого попросить инвайт?

Вы можете попросить инвайт у любого модератора:

Информеры