Приветствую. Собственно проблема:
Есть сайт на WP, совсем недавно обнаружил, что гугл проиндексировал в три раза больше страниц чем яндекс. Как выяснилось, он проиндексировал страницы медиафайлов. Урлы медиафайлов вида:
http://domen.org/PostName/PhotoName/
т.е. запретить по маске урла (типа Disallow: /attachment/*) не выйдет, у каждого медиафайла урл совсем разный и не имеет общих частей. кроме PostName, но это погоды не играет.
Готов пожертвовать урлами второй вложености, ибо все что подлежит индексации имеет урл http://domen.org/PostName/
Десятки попыток типа Disallow: /*/* и т.д. успехом не увенчались, тестил в яндекс вебмастере, все эти варианты закрывают весь сайт полностью.
под раздачу попадает
и
http://domen.org/PostName/PhotoName/
и
http://domen.org/PostName/
Хотя
http://domen.org/PostName не попадает, но стандартно все ведь со слешем открывается, верно?
В общем, как быть? Как убрать кучу ненужных страниц из индекса? Руками каждый урл прописывать не вариант.
- 05.05.2014 06:48
- 05.05.2014 09:52
Disallow: */PhotoName/*
- 05.05.2014 10:09Разработка любых сайтов

- Регистрация: 08.06.2011
- Сообщений: 3,375
- Записей в дневнике: 1
- Репутация: 2506
Если закроете доступ к картинкам через роботс, то поисковые роботы не смогут их удалить.
- 05.05.2014 15:50
Dezm,
PhotoName всегда разный. Пример:
Статья про соду
domen.org/soda/soda-photo
Статья про одежду
domen.org/odejda/new-shirt
и т.д. т.е. у них нет ничего общего.
ArhStrAngeR, доступ не к картинкам. А к страницам медиафайлов нужно закрыть. - 05.05.2014 19:59Гуру

- Регистрация: 09.10.2011
- Сообщений: 1,813
- Репутация: 251
- 06.05.2014 02:06
Закрывайте доступ через мета-теги, это лучший вариант в вашем случае.
А по поводу роботса, я соглашусь с экспертами, не трогайте его!Спасибо сказали:
Negatiff(06.05.2014), - 06.05.2014 02:19
Не думал о мета тегах. Спасибо, всем за помощь. Буду так пробовать.
- 06.05.2014 03:37Новичок

- Регистрация: 03.12.2013
- Сообщений: 23
- Репутация: 2
удалено
- 11.11.2015 22:48Новичок

- Регистрация: 29.10.2015
- Сообщений: 4
- Репутация: 0
Negatiff,Вы как то решили проблему и было ли это оправдано?
Тэги топика:
Похожие темы
| Темы | Раздел | Ответов | Последний пост |
|---|---|---|---|
Правильный ли robots.txt ? | Общие вопросы поисковой оптимизации | 5 | 13.10.2013 18:38 |
[Ищу] Проверка базы noindex и запрет в robots.txt | Оффтоп и свободные темы | 3 | 01.02.2013 13:02 |
Чем лучше всего проверять ссылки на noindex, запрет в robots.txt | Биржи ссылок и статей, seo-сервисы | 3 | 12.12.2012 17:41 |
Чем лучше всего проверять ссылки на noindex, запрет в robots.txt | Оффтоп и свободные темы | 2 | 12.12.2012 02:08 |
Массовая проверка урлов на запрет в robots.txt - подскажите скрипт, софт или сервис | Софт, скрипты, сервисы | 18 | 21.08.2011 22:11 |






