[nethead]

Написал статью по файлу robots.txt, который отвечает за индексацию Вашего блога или сайта. Можете прочитать ее прямо сейчас, это как бы продолжение статьи про АГС. Для большего понимания сначала читайте про АГС. Комментируем и даем оценки. Вопросы к читателям:
1) В знали про этот файл? Кто первый раз сталкивается с этим?
2) Вы сами составляете этот файл или берете уже готовый?
3) Писать или нет следующую статью про мапсайт?
4) Кто серьезно сталкивался с составлением вашего файла?

[Sk8er]

1) Знал
2) Для каждого движка свой + корректирую если нужно
3) Как сам)
4) Не понял вопроса =\

[mall]

1. Знаю
2. Индивидуально для каждого сайта. Для WP беру заготовку, для других часто что-то корректирую.
3. Да, если хочешь спалить какую-то тему а то, что все и так знают не нада писать опять
4. Хороший вопрос

[lliss]

привет у меня вопрос по поводу написания robots.txt тоесть обьясните особо тупому его писать можно просто в блокноте ??
например
User-agent: Yandex
Disallow:

HOST: mysayt.com

User-agent: *
Disallow:

а потом сохранить в корень сайта и всё??
я правельно понял ?

[Shakiroff]

Цитата:

а потом сохранить в корень сайта и всё??
я правельно понял ?

Правильно.

[Shapranov Pavel]

Цитата:

привет у меня вопрос по поводу написания robots.txt тоесть обьясните особо тупому его писать можно просто в блокноте ??
например
User-agent: Yandex
Disallow:

HOST: mysayt.com

User-agent: *
Disallow:

а потом сохранить в корень сайта и всё??
я правельно понял ?

А зачем пустой Disallow? оО

[grazer]

Цитата:

1) В знали про этот файл? Кто первый раз сталкивается с этим?
2) Вы сами составляете этот файл или берете уже готовый?
3) Писать или нет следующую статью про мапсайт?
4) Кто серьезно сталкивался с составлением вашего файла?

1. Об этом файле любой школьник знает.
2. Готовый беру, иногда подправляю немного.
3. Нет, уже и так достаточно написано, как и про роботс.
4. Никаких проблем никогда не было.

[Twin]

Цитата:

А зачем пустой Disallow? оО

Если не ошибаюсь, Disallow хоть раз должен присутствовать в роботы.тхт. Пустой Disallow не закрывает ничего.
Хотя зачем нужен файл robots.txt, если закрывать ничего не надо?

[Тормоз]

Увидел в примере robots.txt автора директиву allow. Вывод: не дорос ещё учить кого-то, статью в топку.

Я вообще не понимаю стремления блоггеров переливать из пустого в порожнее на протяжении длительного времени. Если нечего писать - не пишите вообще ничего, зачем высасывать из пальца сомнительную информацию? Кому это нужно.

Есть вот такой сайтик - http://robotstxt.org.ru/ Он появился года два назад, а то и три. После его появления просто вообще никакого смысла нет вновь писать про robots.txt в Рунете, там раскрыты вообще все вопросы. Все.

[mall]

Цитата:

Хотя зачем нужен файл robots.txt, если закрывать ничего не надо?

чтобы у яндекса небыло проблем с индексацией. точнее у Вас их небыло.