Лента этого топика

Robots

(Ответов: 13, Просмотров: 711)
Страница 1 из 2 12 Последняя
  1. 20.12.2015 02:25
    #1
    VladimirM вне форума
    VladimirM
    Студент
    • Регистрация: 17.11.2015
    • Сообщений: 40
    • Репутация: 3
    Ребята, привет.Подскажите,правильн о я понимаю,что в этом случае ПС будут индексировать все страницы сайта?
    Пример, Роботс прилагаю
    User-agent: *
    Host: www.site.ru
    Disallow:
    Sitemap: http://site.ru/sitemap.xml
    • 0
  2. 20.12.2015 02:28
    #2
    WSairus вне форума
    WSairus
    Опытный Аватар для WSairus
    • Регистрация: 25.01.2013
    • Сообщений: 334
    • Репутация: 71
    Да, все правильно - можете посмотреть в хелпе Яндекса - там есть такой пункт "Директивы Allow и Disallow без параметров":
    yandex.ru/support/webmaster/controlling-robot/robots-txt.xml

    P.S. Только директиву HOST надо прописывать отдельно, желательно для User-Agent: Yandex (остальные ПС ее не учитывают), хотя я обычно прописываю ее последней строкой.
    Последний раз редактировалось WSairus; 20.12.2015 в 02:32.
    Качественный текст + Вечные ссылки + Статейные ссылки + Арендные ссылки = ТОП
    • 0
  3. 20.12.2015 03:05
    #3
    VladimirM вне форума
    VladimirM
    Студент
    • Регистрация: 17.11.2015
    • Сообщений: 40
    • Репутация: 3
    А что значит,прописывать Host отдельно?
    • 0
  4. Значок / Очков: 5 Значок / Очков: 5
    20.12.2015 03:16
    #4
    west0293 вне форума
    west0293
    Гуру Аватар для west0293
    • Регистрация: 09.06.2011
    • Сообщений: 1,025
    • Репутация: 342
    • Webmoney BL: ?
    VladimirM,

    PHP код:
    User-agent: Yandex
    Disallow    :
    Host: www.site.ru

    User    -agent: *
    Disallow:
    Sitemap: http://www.site.ru/sitemap.xml 
    Т.е. вы пишете отдельно директивы для Яндекса и остальных ПС, при этом указывая Host только Яндексу.
    • 0
  5. 20.12.2015 03:16
    #5
    Coder вне форума
    Coder
    Quae res omnia Аватар для Coder
    • Регистрация: 29.01.2015
    • Сообщений: 825
    • Репутация: 303
    Цитата Сообщение от VladimirM Посмотреть сообщение
    А что значит,прописывать Host отдельно?
    Код HTML: 
    User-agent: Yandex
Disallow:
Host: your_site.com

User-agent: *
Disallow: 
Sitemap: http://your_site.com/site-map.xml
    ✓ Проверенные скрипты и полезности для сайта
    ✓ Сервис временных ссылок
    • 0
  6. Значок / Очков: 5 Значок / Очков: 5
    20.12.2015 03:18
    #6
    west0293 вне форума
    west0293
    Гуру Аватар для west0293
    • Регистрация: 09.06.2011
    • Сообщений: 1,025
    • Репутация: 342
    • Webmoney BL: ?
    Coder,
    • 1

    Спасибо сказали:
    Coder(21.12.2015),
  7. 20.12.2015 12:12
    #7
    VladimirM вне форума
    VladimirM
    Студент
    • Регистрация: 17.11.2015
    • Сообщений: 40
    • Репутация: 3
    Всем спасибо
    • 0
  8. 20.12.2015 13:48
    #8
    Coder вне форума
    Coder
    Quae res omnia Аватар для Coder
    • Регистрация: 29.01.2015
    • Сообщений: 825
    • Репутация: 303
    west0293, :)
    VladimirM, пожалуйста)
    ✓ Проверенные скрипты и полезности для сайта
    ✓ Сервис временных ссылок
    • 0
  9. 22.12.2015 18:48
    #9
    VladimirM вне форума
    VladimirM
    Студент
    • Регистрация: 17.11.2015
    • Сообщений: 40
    • Репутация: 3
    И последний вопрос. В роботсе запрета на индексацию страниц нет, но в поиске у ЯШи только 4 страницы, по факту их гораздо больше.
    Нажмите на изображение для увеличения.  Название: ?????.jpg  Просмотров: 2  Размер: 92.4 Кб  ID: 19775
    • 0
  10. 22.12.2015 18:51
    #10
    VladimirM вне форума
    VladimirM
    Студент
    • Регистрация: 17.11.2015
    • Сообщений: 40
    • Репутация: 3
    И последний вопрос. В роботсе запрета на индексацию страниц нет, но в поиске у ЯШи только 4 страницы, по факту их гораздо больше. Почему так?
    Нажмите на изображение для увеличения.  Название: ?????.jpg  Просмотров: 2  Размер: 91.0 Кб  ID: 19776
    • 0
Страница 1 из 2 12 Последняя

Тэги топика:

« Сортировка двумерного массива на php | Как защитить страницу сайта от "накрутки П.Ф" »

Похожие темы

Темы Раздел Ответов Последний пост
robots.txt
 Вопросы от новичков 9 23.04.2013 20:23
АГС или robots.txt
 Вопросы от новичков 11 04.12.2012 20:37
ROBOTS в DLE.
 DLE 4 10.05.2012 12:52
robots.txt
 Вопросы от новичков 3 18.03.2011 15:03
robots.txt
 Прочее 0 18.03.2011 10:44
(добавить баннер)

Баннеры



(добавить ссылку)

Витрина ссылок

У нас проходит

У кого попросить инвайт?

Вы можете попросить инвайт у любого модератора:

Или перенести аккаунт с других форумов

Золотые темы форума

Все золотые темы

Популярные темы

Информеры