Оцените правильность robots.txt для WordPress

(Ответов: 13, Просмотров: 2984)
Страница 2 из 2 Первая 12
  1. Дипломник Аватар для MBN
    • Регистрация: 28.07.2010
    • Сообщений: 147
    • Репутация: 26
    Цитата Сообщение от Slumlord Посмотреть сообщение
    Глупость и домыслы. Когда стандарты отменили?
    а вы поставьте все дисалоу в роботс и посмотрите в логах, как поисковые боты выполняют это правило, много нового узнаете.
    • 0
  2. Новичок
    • Регистрация: 27.10.2009
    • Сообщений: 16
    • Репутация: 16
    Цитата Сообщение от MBN Посмотреть сообщение
    а вы поставьте все дисалоу в роботс и посмотрите в логах, как поисковые боты выполняют это правило, много нового узнаете.
    Не первый год в теме Роботс.тхт всегда был не обязательным, а рекомендуемым ПС. И они как правило всегда следуют директивам в нём. Ессно, правильно составленным директивам.

    И.. я что, двоюсь?
    • 0
  3. Опытный Аватар для Rulik
    • Регистрация: 04.09.2009
    • Сообщений: 251
    • Репутация: 80
    Цитата Сообщение от Slumlord Посмотреть сообщение
    Должен. Но в реальности не всегда так (это по слухам, я сам с яшей не заморачиваюсь). Поэтому лучше перебдеть. Тем более, что у яши свои директивы имеются
    Вот, кстати, пример:

    #Пример корректно составленного robots.txt, при обработке
    #которого директива Host учитывается
    User-Agent: *
    Disallow:
    Host: www.myhost.ru

    http://help.yandex.ru/webmaster/?id=996567
    • 0
  4. Новичок Аватар для Wmexchange
    • Регистрация: 07.06.2011
    • Сообщений: 16
    • Репутация: -2
    Доброго времени суток уважаемые форумчани.
    Такая ситуация : Сайт был в индексе как в Я так и Гугле , все страницы индексировались занимал лидирующие позиции, но через какое то время в Я осталась лишь только главная , а в гугле упал с ТОП 20 в топ 100 и ещё ниже а какие то вообще перестали индексироваться, обратился я к одному гуру сеошнику он посоветовал мне файл роботс.тхт заменить на

    Host: ввв.сайт.ру
    Sitemap: http://сайт/sitemap.xml

    и более ни каких строк для WordPress объясняя это тем т.к страниц мало то и смысла нет что то скрывать тегом
    Disallow , правильно ли я сделал что заменил все таким файлом или надо было оставить с закрытыми директориями?

    Ранее было что то на подобии...

    User-agent: Yandex
    Allow: /wp-content/uploads/
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content
    Disallow: /wp-login.php
    Disallow: /wp-register.php
    Disallow: /tag
    Disallow: /archive
    Disallow: /author
    Disallow: /category
    Disallow: /page
    Disallow: */page/
    Disallow: */trackback
    Disallow: */feed
    Disallow: */comments
    Disallow: /?s=
    Host: site.ru

    User-agent: *
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content
    Disallow: /wp-login.php
    Disallow: /wp-register.php
    Disallow: /tag
    Disallow: /archive
    Disallow: /author
    Disallow: /category
    Disallow: /page
    Disallow: */page/
    Disallow: */trackback
    Disallow: */feed
    Disallow: */comments
    Disallow: /?s=
    Allow: /wp-content/uploads/
    Sitemap: http://site.ru/sitemap.xml
    • 0
Страница 2 из 2 Первая 12

Похожие темы

Темы Раздел Ответов Последний пост
Robots.txt
Обучающие статьи 12 30.06.2011 10:29
robots.txt
Вопросы от новичков 3 18.03.2011 15:03
robots.txt
Прочее 0 18.03.2011 10:44
dle robots.txt
Web программирование 3 08.01.2011 22:16
robots.txt для гугла
Google 20 22.10.2010 16:40

У кого попросить инвайт?

Вы можете попросить инвайт у любого модератора:

Информеры