robots.txt для субдоменов

(Ответов: 2, Просмотров: 625)
  1. Опытный Аватар для span4bob
    • Регистрация: 06.05.2013
    • Сообщений: 313
    • Репутация: 24
    • Webmoney BL: ?
    Всем привет задался вот таким вопросом.
    Есть основной сайт подразделы (города) выведены в виде субдоменов.
    сайт.ру
    город1.сайт.ру
    город2.сайт.ру
    город3.сайт.ру

    В последние 3 дня Yandexbot просто достал сканировать каждую страницу на всех субдомены безперерывно. Чем увеличил нагрузку на сервер на более чем на 300% (обычная нагрузка 30-40% в последние 3 дня нагрузка не падает ниже 97%)

    Решил поставить Crawl delay 10 на всех субдоменах на Yandex. Но логически это не решит проблему, так как он все равно будетодновремено обращаться ко всем субдоменам продолжая нагружать процессор.

    Теперь вопрос ктото пробывал прописывать в роботсе основного домена crawl delay переносилось это правило на субдомены?
    Выгодно Ссылки с сайтов ТИЦ 100+. Хорошая индексация бэклинков.
    • 0
  2. NNov^) Аватар для nn165m
    • Регистрация: 05.08.2012
    • Сообщений: 2,777
    • Репутация: 587
    • Webmoney BL: ?
    крав делей не стоит ставить...
    индексация в итоге страдает в большинстве случаев
    лчше ограничить доступ или оптимизировать сайт
    • 0
  3. Дипломник Аватар для umarkt-stepanov@yandex.ru
    • Регистрация: 27.12.2015
    • Сообщений: 202
    • Репутация: 44
    span4bob,составьте нормальный сайт robots.txt, первое, что бросается на ум - запретите сканирование страниц пагинации, сортировки и корзины, поищите мусорные страницы или дубликаты и так же запретите сканирование ненужных урл.

    Цитата Сообщение от span4bob Посмотреть сообщение
    Теперь вопрос ктото пробывал прописывать в роботсе основного домена crawl delay переносилось это правило на субдомены?
    Настройки у всех разные, у кого-то один роботс на все сайты, у кого-то отдельные для каждого субдомена.
    Откройте роботс по урлу город1.сайт.ру/robots.txt и сайт.ру/robots.txt, затем внесите изменения, обновите страницы - если изменения прошли только в том файле, где вы вносили правки, то очевидно - надо искать аналогичные файлы для всех субдоменов и вносить правки туда тоже.
    Если у вас все-таки один роботс на все сайты, то можно прописывать все в одном файле, однако - это не лучший вариант хотя бы потому, что нельзя прописать верный host и sitemap для сайтов, вариант с отдельными файлами - более правильный.
    • 0

Похожие темы

Темы Раздел Ответов Последний пост
robots.txt
Общие вопросы поисковой оптимизации 5 23.06.2013 00:40
ROBOTS в DLE.
DLE 4 10.05.2012 12:52
robots.txt
Web программирование 4 10.08.2011 14:47
robots.txt
Вопросы от новичков 3 18.03.2011 15:03
robots.txt
Прочее 0 18.03.2011 10:44

У кого попросить инвайт?

Вы можете попросить инвайт у любого модератора:

Информеры