Правильный запрет в Robots.txt

(Ответов: 8, Просмотров: 1411)
  1. Дипломник Аватар для Negatiff
    • Регистрация: 24.09.2011
    • Сообщений: 109
    • Репутация: 28
    • Webmoney BL: ?
    Приветствую. Собственно проблема:
    Есть сайт на WP, совсем недавно обнаружил, что гугл проиндексировал в три раза больше страниц чем яндекс. Как выяснилось, он проиндексировал страницы медиафайлов. Урлы медиафайлов вида:
    http://domen.org/PostName/PhotoName/

    т.е. запретить по маске урла (типа Disallow: /attachment/*) не выйдет, у каждого медиафайла урл совсем разный и не имеет общих частей. кроме PostName, но это погоды не играет.

    Готов пожертвовать урлами второй вложености, ибо все что подлежит индексации имеет урл http://domen.org/PostName/

    Десятки попыток типа Disallow: /*/* и т.д. успехом не увенчались, тестил в яндекс вебмастере, все эти варианты закрывают весь сайт полностью.

    под раздачу попадает
    и
    http://domen.org/PostName/PhotoName/
    и
    http://domen.org/PostName/

    Хотя
    http://domen.org/PostName не попадает, но стандартно все ведь со слешем открывается, верно?

    В общем, как быть? Как убрать кучу ненужных страниц из индекса? Руками каждый урл прописывать не вариант.
    • 0
  2. Дипломник Аватар для Dezm
    • Регистрация: 30.04.2010
    • Сообщений: 156
    • Репутация: 46
    Disallow: */PhotoName/*
    • 0
  3. Разработка любых сайтов Аватар для ArhStrAngeR
    • Регистрация: 08.06.2011
    • Сообщений: 3,376
    • Записей в дневнике: 1
    • Репутация: 2506
    Если закроете доступ к картинкам через роботс, то поисковые роботы не смогут их удалить.
    • 0
  4. Дипломник Аватар для Negatiff
    • Регистрация: 24.09.2011
    • Сообщений: 109
    • Репутация: 28
    • Webmoney BL: ?
    Dezm,

    PhotoName всегда разный. Пример:

    Статья про соду
    domen.org/soda/soda-photo

    Статья про одежду
    domen.org/odejda/new-shirt

    и т.д. т.е. у них нет ничего общего.

    ArhStrAngeR, доступ не к картинкам. А к страницам медиафайлов нужно закрыть.
    • 0
  5. Гуру
    • Регистрация: 09.10.2011
    • Сообщений: 1,814
    • Репутация: 251
    Цитата Сообщение от Negatiff Посмотреть сообщение
    Как убрать кучу ненужных страниц из индекса? Руками каждый урл прописывать не вариант.
    А придется :) Для гугла, файл роботс это только "закрыть сканирование", а не "закрыть сканирование и удалить из индекса". Разница понятна?
    Вам только метатегами закрывать.
    • 2

    Спасибо сказали:

    Elka(06.05.2014), Negatiff(06.05.2014),
  6. Новичок Аватар для sanseo
    • Регистрация: 06.05.2014
    • Сообщений: 8
    • Репутация: 1
    Закрывайте доступ через мета-теги, это лучший вариант в вашем случае.
    А по поводу роботса, я соглашусь с экспертами, не трогайте его!
    • 1

    Спасибо сказали:

    Negatiff(06.05.2014),
  7. Дипломник Аватар для Negatiff
    • Регистрация: 24.09.2011
    • Сообщений: 109
    • Репутация: 28
    • Webmoney BL: ?
    Не думал о мета тегах. Спасибо, всем за помощь. Буду так пробовать.
    • 0
  8. Новичок
    • Регистрация: 03.12.2013
    • Сообщений: 23
    • Репутация: 2
    удалено
    • 0
  9. Новичок
    • Регистрация: 29.10.2015
    • Сообщений: 4
    • Репутация: 0
    Negatiff,Вы как то решили проблему и было ли это оправдано?
    • -2

Похожие темы

Темы Раздел Ответов Последний пост
Правильный ли robots.txt ?
Общие вопросы поисковой оптимизации 5 13.10.2013 19:38
[Ищу] Проверка базы noindex и запрет в robots.txt
Оффтоп и свободные темы 3 01.02.2013 14:02
Чем лучше всего проверять ссылки на noindex, запрет в robots.txt
Биржи ссылок и статей, seo-сервисы 3 12.12.2012 18:41
Чем лучше всего проверять ссылки на noindex, запрет в robots.txt
Оффтоп и свободные темы 2 12.12.2012 03:08
Массовая проверка урлов на запрет в robots.txt - подскажите скрипт, софт или сервис
Софт, скрипты, сервисы 18 21.08.2011 23:11

У кого попросить инвайт?

Вы можете попросить инвайт у любого модератора:

Информеры