Robots.txt. Индексация ТОЛЬКО главной страницы

(Ответов: 16, Просмотров: 20000)
Страница 1 из 2 12 Последняя
  1. Опытный Аватар для hichnii
    • Регистрация: 03.09.2009
    • Сообщений: 306
    • Репутация: 12
    Ребят, подскажите плиз как кто реализовывает в robots.txt индексацию ТОЛЬКО главной страницы сайта? насколькоя я знаю запретить к индексации весь сайт, а разрешить индексацию сайта с помощью Allow только главной не прокатывает. Мне приходится разрешать весь сайт к индексации и закрывать все остальные страницы следующим образом:
    User-agent: *
    Disallow: /page1.html
    Disallow: /page2.html
    ...

    Минусом данного варианта является поиск всех страниц сайта, что занимает много времени и трудов при работе с многостраничными сайтами, кто что может предложить по решению данной проблемы?
    Последний раз редактировалось grazer; 01.03.2010 в 22:44.
    • 0
  2. Дипломник Аватар для Lucky-Max
    • Регистрация: 24.07.2009
    • Сообщений: 119
    • Репутация: 10
    hichnii - запрети к индексации все директории, а также все файлы находящиеся в них.

    Насчет диретивы Allow :), глянь в роботс гугла , здесь про robots.txt, идеальным вариантом считаю - закрыть ненужные страницы, методом перечисления каждой.
    • 0
  3. Дипломник
    • Регистрация: 03.09.2009
    • Сообщений: 220
    • Репутация: 10
    Цитата Сообщение от Lucky-Max Посмотреть сообщение
    hichnii - запрети к индексации все директории, а также все файлы находящиеся в них.

    Насчет диретивы Allow :), глянь в роботс гугла , здесь про robots.txt, идеальным вариантом считаю - закрыть ненужные страницы, методом перечисления каждой.
    муторно, но правильно закрыть каждую страницу от индексации.
    • 0
  4. Студент Аватар для Patologoanatom
    • Регистрация: 04.09.2009
    • Сообщений: 86
    • Репутация: 11
    Не уверен что сработает, но попробуй:
    Disallow: /*.html
    • 0
  5. Опытный Аватар для hichnii
    • Регистрация: 03.09.2009
    • Сообщений: 306
    • Репутация: 12
    Цитата Сообщение от Patologoanatom Посмотреть сообщение
    Не уверен что сработает, но попробуй:
    Disallow: /*.html
    Что сработает то? нифига не понял
    • 0
  6. Member
    • Регистрация: 03.09.2009
    • Сообщений: 34
    • Репутация: 10
    Я от гугла что закрывал, что не закрывал - один фиг, если ему приспичит - он проиндексирует, хочешь ты этого или нет.

    Только если по айпи и юзерагенту не пускать, но это уже клоакинг получается.
    Последний раз редактировалось grazer; 01.03.2010 в 21:46.
    • 0
  7. Опытный Аватар для jurar1
    • Регистрация: 03.09.2009
    • Сообщений: 387
    • Репутация: 10
    PHP код:
    <!--#if expr=" "${HTTP_HOST}" != "www.главное_имя.ru" " -->
    User-Agent: *
    Disallow: /
    <!--
    #endif --> 
    В этом файле роботу запрещен обход всех хостов, кроме

    www.главное_имя.ru
    http://yapro.ru/web-master/xhtml/kak...h_stranic.html
    :eek::eek::eek: БАБЛО
    • 0
  8. Гуру Аватар для inlanger
    • Регистрация: 03.09.2009
    • Сообщений: 521
    • Репутация: 21
    Сначала сделай
    Disallow: /*.*
    а потом Allow index.html в .htaccess, должно сработать

    Интересно почитать: как скрыть ссылки.
    Последний раз редактировалось grazer; 13.03.2010 в 03:45.
    • 0
  9. Дипломник Аватар для Lucky-Max
    • Регистрация: 24.07.2009
    • Сообщений: 119
    • Репутация: 10
    Цитата Сообщение от ral Посмотреть сообщение
    муторно, но правильно закрыть каждую страницу от индексации.
    - я это и советовал.

    Patologoanatom - запретит индексацию таким образом всех файлов .html

    dveredel - Ни одного случая подобного не было, если правильно составлен robots.txt, такого не должно произойти. Иногда такое случается, при неправильном запрете индексации динамических ссылок.

    inlanger - как вариант :)
    Последний раз редактировалось grazer; 02.03.2010 в 06:04.
    • 0
  10. Senior Member
    • Регистрация: 04.09.2009
    • Сообщений: 820
    • Репутация: 10
    А для чего чтобы ПС только главную индексировала? просто интересно с какой целью?
    • 0
Страница 1 из 2 12 Последняя

Похожие темы

Темы Раздел Ответов Последний пост
Robots.txt в Вордпрессе
Софт, скрипты, сервисы 50 27.07.2011 17:48
Robots.txt
Обучающие статьи 12 30.06.2011 10:29
Как в DLE вывести текст только на главной?
Софт, скрипты, сервисы 2 04.02.2010 22:32
Файл robots.txt – важная часть блога
Дайджест блогосферы 11 15.01.2010 23:43
Кол-по постов на главной
Блоги 54 12.09.2009 22:23

Интересные темы

в яндексе только главная страница

Учимся составлять robots.txt правильно, если в яндексе только главная страница, читайте подробности здесь.

У кого попросить инвайт?

Вы можете попросить инвайт у любого модератора:

Информеры