robots.txt

(Ответов: 4, Просмотров: 619)
  1. Дипломник Аватар для uadmitriy
    • Регистрация: 06.03.2011
    • Сообщений: 158
    • Репутация: 21
    User-agent: *
    Disallow: /auth
    Disallow: /content
    Disallow: /cache
    Disallow: /cp
    Disallow: /includes
    Disallow: /media
    Disallow: /js
    Disallow: /style

    Sitemap: http://site.com/sitemap.xml
    Как считаете, стоит ли запрещать

    Disallow: /content
    Disallow: /cache
    Disallow: /includes
    Disallow: /media
    Disallow: /js
    Disallow: /style
    • 0
  2. Студент Аватар для SEOinSoul
    • Регистрация: 28.07.2009
    • Сообщений: 40
    • Репутация: 25
    А движок то какой ?
    Можно даже сам сайт скинуть, чтоб нагляднее было. Если модеры не пропустят, кидай в личку
    Кейс - раскрутка группы Вконтакте | Интервью с организаторам конкурса SEOCAFEинфошность
    • 0
  3. Студент Аватар для WinneR
    • Регистрация: 07.11.2009
    • Сообщений: 79
    • Репутация: 13
    • Webmoney BL: ?
    Disallow: /content
    Disallow: /cache
    Disallow: /media
    Думаю что их не стоит запрещать скорее всего в контенте у тебя могут быть какие то загруженные файлы как и в медиа, а cache если єто кешированые странци то тоже думаю что не стоит, а там посмотри сам что у тебя в этих папках лежит!
    • 0
  4. Дипломник Аватар для uadmitriy
    • Регистрация: 06.03.2011
    • Сообщений: 158
    • Репутация: 21
    WinneR, есть совет извне что Yandex все равно проиндексирует картинки и это снимет нагрузку на сервер краулером
    • 0
  5. Студент Аватар для WinneR
    • Регистрация: 07.11.2009
    • Сообщений: 79
    • Репутация: 13
    • Webmoney BL: ?
    не, не проиндексирует, все что будет к примеру в Disallow: /content не проиндексируется
    • 0

Тэги топика:

Похожие темы

Темы Раздел Ответов Последний пост
Robots.txt
Обучающие статьи 12 30.06.2011 10:29
не появлсяется robots.txt
Вопросы от новичков 2 17.05.2011 00:22
robots.txt
Вопросы от новичков 3 18.03.2011 15:03
robots.txt
Прочее 0 18.03.2011 10:44
dle robots.txt
Web программирование 3 08.01.2011 22:16

У кого попросить инвайт?

Вы можете попросить инвайт у любого модератора:

Информеры