Как закрыть от индексации страницы от поисковых роботов?

(Ответов: 9, Просмотров: 4710)
  1. Студент
    • Регистрация: 12.08.2011
    • Сообщений: 47
    • Репутация: 2
    Необходимо закрыть страницы сайта заканчивающиеся на *.html .
    Пример http://site.ru/maps/kvartiry/pushkina-29-111.html

    Страницы до *.html должны быть открыты для индексирования роботами.
    Примеры страниц: http://site.ru/maps/kvartiry/kuplyu
    http://site.ru/maps/kvartiry/
    • 0
  2. Опытный
    • Регистрация: 01.09.2012
    • Сообщений: 253
    • Репутация: 42
    Закройте в robots.txt
    На форуме полно примеров
    • 0
  3. Студент
    • Регистрация: 12.08.2011
    • Сообщений: 47
    • Репутация: 2
    Цитата Сообщение от zaxll777 Посмотреть сообщение
    Закройте в robots.txt
    На форуме полно примеров
    например?
    • 0
  4. Дипломник
    • Регистрация: 07.12.2011
    • Сообщений: 221
    • Репутация: 13
    voland, а почему вас расширение не на всех страницах? вы сами ссылки меняли или сефом?
    • 0
  5. SEO специалист Аватар для hammer8
    • Регистрация: 14.05.2012
    • Сообщений: 2,824
    • Репутация: 531
    • Webmoney BL: ?
    Вставляйте в страницы тег <meta name="robots" content="nofollow,noindex" />. Я всегда так делаю.

    Также один из способов удаления страниц из поиска – это ручное удаление из панели вебмастера.
    Из Google _https://www.google.com/webmasters/tools/
    Из Яндекс _http://webmaster.yandex.ru/delurl.xml
    • 0
  6. Студент
    • Регистрация: 12.08.2011
    • Сообщений: 47
    • Репутация: 2
    Меня больше интересует как закрыть страницы в robots.txt
    • 0
  7. SEO специалист Аватар для hammer8
    • Регистрация: 14.05.2012
    • Сообщений: 2,824
    • Репутация: 531
    • Webmoney BL: ?
    voland,
    Запретить весь сайт для индексации всеми роботами
    Код:
    User-agent: *
    Disallow: /
    Разрешить всем роботам индексировать весь сайт
    Код:
    User-agent: *
    Disallow:
    Или можете просто создать пустой файл «/robots.txt».

    Закрыть от индексации только несколько каталогов
    Код:
    User-agent: *
    Disallow: /cgi-bin/
    Disallow: /tmp/
    Disallow: /private/
    Запретить индексацию сайта только для одного робота
    Код:
    User-agent: BadBot
    Disallow: /
    Разрешить индексацию сайта одному роботу и запретить всем остальным
    Код:
    User-agent: Yandex
    Disallow:
    
    User-agent: *
    Disallow: /
    Запретить к индексации все файлы кроме одного
    Это довольно непросто, т.к. не существует инструкции “Allow”. Вместо этого можно переместить все файлы кроме того, который вы хотите разрешить к индексации в поддиректорию и запретить ее индексацию:

    Код:
    User-agent: *
    Disallow: /docs/
    Либо вы можете запретить все запрещенные к индексации файлы:

    Код:
    User-agent: *
    Disallow: /private.html
    Disallow: /foo.html
    Disallow: /bar.html
    • 0
  8. Опытный
    • Регистрация: 01.09.2012
    • Сообщений: 253
    • Репутация: 42
    Я думаю будет работать?

    Код:
    User-agent: *
    Disallow: *.html
    • 0
  9. Студент Аватар для Temmokan
    • Регистрация: 17.02.2010
    • Сообщений: 34
    • Репутация: 15
    • Webmoney BL: ?
    Думаю, полезно также ознакомиться с robotstxt.org.ru, там в том числе указаны типичные ошибки при построении этого файла.

    Также ряд полезных советов по грамотному исключению страниц и групп страниц (на английском языке - возможно, стоит перевести) здесь: Robots.txt and Meta Robots ...
    IT: ИНФОтека | SSD VPS и прочее: VPS Seer
    • 1

    Спасибо сказали:

    ks-11(12.02.2015),
  10. Студент
    • Регистрация: 12.08.2011
    • Сообщений: 47
    • Репутация: 2
    Если я закрою страницы вот так:

    User-agent: *
    Disallow: /*.html*

    Будет ли это правильно?
    • 0

Похожие темы

Темы Раздел Ответов Последний пост
Вопрос: Контекстная реклама и индекс поисковых роботов
Вопросы от новичков 9 16.03.2012 11:39
Как закрыть от индексации такие страницы?
Вопросы от новичков 2 10.02.2012 14:06
Как поиск закрыть от индексации
Web программирование 14 20.08.2011 12:38
Как поиск закрыть от индексации
Вопросы от новичков 4 18.08.2011 03:54

У кого попросить инвайт?

Вы можете попросить инвайт у любого модератора:

Информеры