FAQ по robots.txt

(Ответов: 12, Просмотров: 1284)
Страница 1 из 2 12 Последняя
  1. Гуру Аватар для iavtomoto
    • Регистрация: 16.04.2011
    • Сообщений: 658
    • Репутация: 151
    Написал FAQ по robots.txt
    Этому файлу уделяется мало внимание, а пользу или вред он приносит огромный.
    Так что читаем внимательно, буду рад если кто что дополнит, непременно внесу в статью.

    Robots.txt
    -----
    • 2

    Спасибо сказали:

    OKyJIucT(02.10.2011), Rj.DiNex(06.03.2012),
  2. Sunshine reggae Аватар для OKyJIucT
    • Регистрация: 02.09.2011
    • Сообщений: 3,240
    • Репутация: 1830
    • Webmoney BL: ?
    Директива Host в файле robots.txt может быть только одна. В случае указания нескольких директив, использоваться будет первая.
    И у вас тут
    Allow
    Эта директива напротив, разрешает индексацию по указанному пути.

    например, мы запрещаем для индексации весь сайт, но разрешаем папке images попасть в поиск:

    Allow: / images/
    Лишний пробел перед images

    А тут
    Знак $ обозначает окончание строки.

    Рассмотрим действие $ на примере:

    Disallow /category/ Запрещает к индексированию и category/ и category/index.html

    Disallow /category/$ Запрещает к индексу ТОЛЬКО category/
    Нет двоеточий после директивы Disallow.
    Последний раз редактировалось OKyJIucT; 02.10.2011 в 23:31.
    • 2

    Спасибо сказали:

    iavtomoto(03.10.2011), iRemaker(03.10.2011),
  3. Гуру Аватар для iavtomoto
    • Регистрация: 16.04.2011
    • Сообщений: 658
    • Репутация: 151
    спасибо, писал на одном дыхании)), исправился.
    -----
    • 0
  4. Дипломник Аватар для mixix
    • Регистрация: 29.09.2011
    • Сообщений: 154
    • Репутация: 4
    • Webmoney BL: ?
    iavtomoto,я сайт где то видел там абсолютно все про него! вот ссылка пока что хостинг не оплачен как оплатят увидите там очень много про него =) http://robotstxt.org.ru/
    • 1

    Спасибо сказали:

    Rj.DiNex(06.03.2012),
  5. Гуру Аватар для iavtomoto
    • Регистрация: 16.04.2011
    • Сообщений: 658
    • Репутация: 151
    спасибо, но мне все же хотелось бы услышать что либо о своей статье, старался собрать все только актуалное правильное и рабочее. что бы съэкономить время и себе и вам уважаемые)
    ибо по большей части блог мой - книжка записная.. пишу чтоб не забыть что и как
    -----
    • 0
  6. Гуру Аватар для pingvin
    • Регистрация: 23.12.2007
    • Сообщений: 576
    • Репутация: 108
    mixix, человек делится статьей со своего блога, а вы ему ссылку на другой источник. К тому же не рабочий...
    • 0
  7. Новичок Аватар для webb
    • Регистрация: 15.03.2011
    • Сообщений: 27
    • Репутация: 11
    Как отнесутся Yandex и Google к такому файлу robots.txt:
    User-Agent: *
    Allow:
    Disallow:
    • 0
  8. Гуру Аватар для iavtomoto
    • Регистрация: 16.04.2011
    • Сообщений: 658
    • Репутация: 151
    webb, что вы хотите сказать роботам этим файлом?
    -----
    • 0
  9. Новичок Аватар для webb
    • Регистрация: 15.03.2011
    • Сообщений: 27
    • Репутация: 11
    я ничего не хочу сказать. как поисковики к нему отнесутся, что будут делать.
    • 0
  10. Новичок Аватар для Kactuar
    • Регистрация: 19.09.2011
    • Сообщений: 19
    • Репутация: 1
    Для них эта пустая информация, Они просто не обратят на это никакого внимания и будут пытаться индексировать сайт без ограничений
    • 0
Страница 1 из 2 12 Последняя

Похожие темы

Темы Раздел Ответов Последний пост
robots.txt
Web программирование 4 10.08.2011 15:47
Robots.txt
Обучающие статьи 12 30.06.2011 11:29
robots.txt
Вопросы от новичков 3 18.03.2011 15:03
robots.txt
Прочее 0 18.03.2011 10:44
dle robots.txt
Web программирование 3 08.01.2011 22:16

У кого попросить инвайт?

Вы можете попросить инвайт у любого модератора:

Информеры