Написал статью по файлу robots.txt, который отвечает за индексацию Вашего блога или сайта. Можете прочитать ее прямо сейчас, это как бы продолжение статьи про АГС. Для большего понимания сначала читайте про АГС. Комментируем и даем оценки. Вопросы к читателям: 1) В знали про этот файл? Кто первый раз сталкивается с этим? 2) Вы сами составляете этот файл или берете уже готовый? 3) Писать или нет следующую статью про мапсайт? 4) Кто серьезно сталкивался с составлением вашего файла?
1. Знаю 2. Индивидуально для каждого сайта. Для WP беру заготовку, для других часто что-то корректирую. 3. Да, если хочешь спалить какую-то тему а то, что все и так знают не нада писать опять 4. Хороший вопрос :)
привет у меня вопрос по поводу написания robots.txt тоесть обьясните особо тупому его писать можно просто в блокноте ?? например User-agent: Yandex Disallow:
HOST: mysayt.com
User-agent: * Disallow:
а потом сохранить в корень сайта и всё?? я правельно понял ?
привет у меня вопрос по поводу написания robots.txt тоесть обьясните особо тупому его писать можно просто в блокноте ?? например User-agent: Yandex Disallow:
HOST: mysayt.com
User-agent: * Disallow:
а потом сохранить в корень сайта и всё?? я правельно понял ?
1) В знали про этот файл? Кто первый раз сталкивается с этим? 2) Вы сами составляете этот файл или берете уже готовый? 3) Писать или нет следующую статью про мапсайт? 4) Кто серьезно сталкивался с составлением вашего файла?
1. Об этом файле любой школьник знает. 2. Готовый беру, иногда подправляю немного. 3. Нет, уже и так достаточно написано, как и про роботс. 4. Никаких проблем никогда не было.
Если не ошибаюсь, Disallow хоть раз должен присутствовать в роботы.тхт. Пустой Disallow не закрывает ничего. Хотя зачем нужен файл robots.txt, если закрывать ничего не надо?
Последний раз редактировалось Twin; 15.01.2010 в 19:02.
Увидел в примере robots.txt автора директиву allow. Вывод: не дорос ещё учить кого-то, статью в топку.
Я вообще не понимаю стремления блоггеров переливать из пустого в порожнее на протяжении длительного времени. Если нечего писать - не пишите вообще ничего, зачем высасывать из пальца сомнительную информацию? Кому это нужно.
Есть вот такой сайтик - http://robotstxt.org.ru/ Он появился года два назад, а то и три. После его появления просто вообще никакого смысла нет вновь писать про robots.txt в Рунете, там раскрыты вообще все вопросы. Все.