Помогите с дописываниенм условий в robots.txt

(Ответов: 6, Просмотров: 862)
  1. Студент
    • Регистрация: 27.08.2012
    • Сообщений: 31
    • Репутация: 0
    • Webmoney BL: ?
    Fktrctq, категории нет
    но можно ключи для отдельной страницы
    Последний раз редактировалось Сергей_К; 25.01.2014 в 21:25. Причина: убрал реальный урл
    • 0
  2. Сеошнег Аватар для DESTER
    • Регистрация: 15.02.2012
    • Сообщений: 454
    • Репутация: 112
    • Webmoney BL: ?
    Можно через мобильный, ЯД или СБ РФ оплатить?
    • 0
  3. Студент
    • Регистрация: 27.08.2012
    • Сообщений: 31
    • Репутация: 0
    • Webmoney BL: ?
    Gann, можно яд, сб рф, альфа

    weissrus - оплатил спустя сутки
    • 0
  4. Дипломник Аватар для hnurewnik
    • Регистрация: 17.11.2012
    • Сообщений: 179
    • Репутация: 137
    отдельно за каждую страницу тоже по 10 рублей?
    • 0
  5. Студент
    • Регистрация: 27.08.2012
    • Сообщений: 31
    • Репутация: 0
    • Webmoney BL: ?
    Fktrctq,да будет по 10 руб
    • 0
  6. Дипломник Аватар для hnurewnik
    • Регистрация: 17.11.2012
    • Сообщений: 179
    • Репутация: 137
    Во первых, страницы доступны по двум разным путям:

    http://medalirus.ru/anenskaya-medal/...29-1911-in.php
    http://medalirus.ru/anenskaya-medal/...9-1911-in.php/

    Колдуйте с редиректами. Убрать последний слеш в url нужно.

    Во вторых, не закрывайте урлы типа - http://medalirus.ru/novosti-inform/?SECTION_ID=30 , это Ваши категории. Переделайте урл на чпу или не трогайте вообще. Ну можете посмотреть заходы с поиска на эти категории - если есть, то темболее оставлять.

    А по поводу robots.txt

    User-agent: *
    Disallow: /search/
    Disallow: *back_url_admin
    Host: medalirus.ru
    Sitemap: http://medalirus.ru/sitemap.xml

    Но еще вкачайте карту сайта на сервер, прежняя карта сайта пустая. Ссылка на карту.
    Последний раз редактировалось hnurewnik; 26.01.2014 в 02:08.
    • 0
  7. Студент
    • Регистрация: 27.08.2012
    • Сообщений: 31
    • Репутация: 0
    • Webmoney BL: ?
    Спасибо за доп. подсказки по узким моментам.
    1. Это несколько штук образовалось, когда ошибался с копированием урла при перелинковке, тут я вручную эти ссылки со слэшами исправлю. А для индексных страниц разделов, где слэши реально часто мешаются, все уже наколдовано :) .
    2. http://medalirus.ru/novosti-inform/?SECTION_ID=30 да это категории, подразделы, но мне кажется индексно - трафиковая ценность у них похоже нулевая, за прошлый месяц через них на сайт был всего 2 захода. Там только перечни, а точней 100% повторы анонсов с "настоящих" страниц. Может пользы от их удаления будет больше?
    3. А если в robots.txt прописать
    User-agent: Yandex
    Clean-param: SECTION_ID
    Clean-param: sphrase_id
    Clean-param: PAGEN_17
    Clean-param: back_url_admin (хотя здесь Disallow: *back_url_admin - наверно лучше будет, а то там еще такой хвост в конце идет, одним обнулением параметра не обойтись)
    а для Гугла в Вебмастере их же исключить, поможет?
    4. Disallow: /search/ - ясно.
    Спасибо за СитиМап, у меня файл не пустой у него просто адрес другой http://medalirus.ru/sitemap_index.xml а оттуда на http://medalirus.ru/sitemap_000.xml , ПС этот Битрикс вариант вполне устраивает.
    Последний раз редактировалось Сергей_К; 26.01.2014 в 15:35.
    • 0

Похожие темы

Темы Раздел Ответов Последний пост
помогите закрыть страницу в robots.txt
Вопросы от новичков 3 29.03.2012 17:03
Помогите с robots.txt для DLE
Web программирование 13 29.01.2012 16:09
Помогите составить robots.txt
Вопросы от новичков 4 09.11.2011 19:07
Помогите разобраться с robots.txt
Web программирование 10 21.08.2011 00:37

У кого попросить инвайт?

Вы можете попросить инвайт у любого модератора:

Информеры