- 23.03.2011 16:14
- 23.03.2011 21:56
- Регистрация: 27.10.2009
- Сообщений: 16
- Репутация: 16
- 24.03.2011 18:39
Вот, кстати, пример:
#Пример корректно составленного robots.txt, при обработке
#которого директива Host учитывается
User-Agent: *
Disallow:
Host: www.myhost.ru
http://help.yandex.ru/webmaster/?id=996567 - 16.05.2012 13:48
Доброго времени суток уважаемые форумчани.
Такая ситуация : Сайт был в индексе как в Я так и Гугле , все страницы индексировались занимал лидирующие позиции, но через какое то время в Я осталась лишь только главная , а в гугле упал с ТОП 20 в топ 100 и ещё ниже а какие то вообще перестали индексироваться, обратился я к одному гуру сеошнику он посоветовал мне файл роботс.тхт заменить на
Host: ввв.сайт.ру
Sitemap: http://сайт/sitemap.xml
и более ни каких строк для WordPress объясняя это тем т.к страниц мало то и смысла нет что то скрывать тегом
Disallow , правильно ли я сделал что заменил все таким файлом или надо было оставить с закрытыми директориями?
Ранее было что то на подобии...
User-agent: Yandex
Allow: /wp-content/uploads/
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /tag
Disallow: /archive
Disallow: /author
Disallow: /category
Disallow: /page
Disallow: */page/
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /?s=
Host: site.ru
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /tag
Disallow: /archive
Disallow: /author
Disallow: /category
Disallow: /page
Disallow: */page/
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /?s=
Allow: /wp-content/uploads/
Sitemap: http://site.ru/sitemap.xml
Тэги топика:
- ----------,
- archive,
- author,
- category,
- cgi-bin,
- comments,
- disallow,
- host,
- page,
- robots,
- robots.txt,
- ruwinner,
- site,
- sitemap,
- trackback,
- uploads,
- user-agent,
- wordpress,
- wp-admin,
- wp-content,
- wp-includes,
- wp-login,
- wp-register,
- вначале,
- всегда,
- директива,
- запрет,
- запретить,
- мешать,
- надо,
- оценить,
- ошибка,
- первый,
- перечисляться,
- показать,
- потом,
- правильность,
- прима,
- пример,
- разрешить,
- сайтмап,
- секция,
- ставиться,
- суть,
- тоже,
- что-то,
- яндекс
Похожие темы
Темы | Раздел | Ответов | Последний пост |
---|---|---|---|
Robots.txt | Обучающие статьи | 12 | 30.06.2011 10:29 |
robots.txt | Вопросы от новичков | 3 | 18.03.2011 15:03 |
robots.txt | Прочее | 0 | 18.03.2011 10:44 |
dle robots.txt | Web программирование | 3 | 08.01.2011 22:16 |
robots.txt для гугла | 20 | 22.10.2010 16:40 |