http://webmasters.ru/forum/showthread.php?t=39242 SEO форум вебмастеров - Поисковые системы, оптимизация, раскрутка сайта, оптимизация и продвижение сайта в поисковых системах 1744986770 Elesite CMS 60 http://webmasters.ru/forum/images/wm/misc/rss.png http://webmasters.ru/forum http://webmasters.ru/forum/showpost.php?p=402766 Fri, 25 Jan 2013 08:37:15 GMT Понимаю, что вопрос разжеван, но на популярных ресурсах статьи по теме датированы 11 годом, с которого многое могло поменяться, вопрос именно по Джумле, но хочется разобраться в целом, поэтому опубликовал не в Джумле. Проблема: дубли. много дублей. ссылки дублей выглядят примерно так: сайт.рф/категория/категория/статья.хтмл сайт.рф/категория/статья.хтмл сайт.рф/статья.хтмл и еще 2-3 дубля с каким-то map и без хтмл Хочу решить это все дело с помощью роботс, но почитал хелпы по нему, понял, что Яндекс выставляет приоритет на использование директив в зависимости от того, что сначала идет в файле(инфа 2011 года). Так ли это сейчас? Т.е. мне надо будет писать сначала allow: сайт.рф/категория/категория/ allow: сайт.рф/категория1/категория2/ allow: сайт.рф/категория3/категория4/ А потом disallow:сайт.рф/ В итоге получу открытыми к индексации лишь страницы с двумя категориями. Так? Как на такое отреагирует Гугл? UPD А также заметил, что это 1000 моё сообщение. Юбилей :) http://webmasters.ru/forum/showpost.php?p=402811 Fri, 25 Jan 2013 10:25:42 GMT Здравствуйте, Semion! Я уже много расписывал на этом форуме о дублях в Joomla. Расскажу и Вам)) Итак, для начала я Вам посоветую не использовать для борьбы с дублями только robots.txt. Мне кажется, что нужно бороться, так сказать, на корню! 1. Первое, что нужно сделать - это (желательно) не использовать сторонние компоненты для генерации ЧПУ. Я всё делаю через стандартный SEF Joomla. 2. Для начала убираем www и дубли с index.php в .htaccess. Код, указанный ниже, на моем сервере работает нормально. Если у Вас будут проблемы, то пробуйте другие варианты: RewriteEngine On RewriteCond %{HTTP_HOST} ^www.joofaq.ru$ [NC] RewriteRule ^(.*)$ http://joofaq.ru/$1 [R=301,L] RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.php\ HTTP/ RewriteRule ^index\.php$ http://joofaq.ru/ [R=301,L] 3. Теперь нужно избавиться от ID материалов (ссылки вида _sayt.ru/categoriya/20-material.html, где 20 - это и есть ID материала). Описанное ниже решение, работает только на Joomla 1.6/1.7/2.5 Вот подробный мануал по избавлению от этих цифр: _http://alex-leo.ru/joomla/116-ybiraem-id-iz-statei-joomla 4. Я использую плагин от sherza _http://joomlaforum.ru/index.php/topic,201567.0.html Это просто супер плагин, способный вылечить от 90 процентов всех дублей на сайте с Joomla 1.5 и Joomla 2.5. Кроме того, у них на сайте разработчика этого плагина есть форум, где Вам бесплатно помогут с настройкой этого плагина. Я там три дня мучил модератора по настройке плагина для нормальной работы joomla с галереей JoomGallery - и не заплатил ни копейки! Вот сайт _http://hekima.ru/shnodoubles 3. После проделанного выше, Вам остается лишь добавить в robots.txt некоторые пункты, чтобы не проскакивали системные страницы. Вот robots.txt моего блога _Joofaq.ru с пояснениями: User-agent: * Allow: /index.php?option=com_xmap&view=xml&id=1 // разрешаю индексировать карту сайта Xmap Allow: /*?start= // разрешаю индексировать пагинацию страниц Disallow: /administrator/ Disallow: /cache/ Disallow: /cli/ Disallow: /components/ Disallow: /includes/ Disallow: /installation/ Disallow: /language/ Disallow: /libraries/ Disallow: /logs/ Disallow: /media/ Disallow: /modules/ Disallow: /plugins/ Disallow: /templates/ Disallow: /tmp/ Disallow: /feed/ Disallow: /component/ Disallow: /*? // запрещаю все страницы, в которых встречается символ "?" Disallow: /*limit= // это опять же для пагинации. Запрет всех страниц с "limit=" Host: joofaq.ru // главное зеркало сайта. У меня без WWW Sitemap: http://joofaq.ru/index.php?option=com_xmap&view=xml&id=1 // карта сайта 4. Вот, кстати, классная тема для настройки robots.txt на Joomla _http://joomlaforum.ru/index.php/topic,193446.0.html В этой теме Вы увидите, что нужно прописать для некоторых сторонних расширений, чтобы лишние страницы не попали в выдачу. Всё вышеперечисленное я делал не только на сайте, на котором нет сторонних расширений, но и на многих других проектах. При этом не возникало проблем с такими компонентами, как Virtuemart, Zoo, K2, JBZoo, JoomGallery и многих других похожих. Спасибо за внимание! Надеюсь, что Вам поможет эта статья! http://webmasters.ru/forum/showpost.php?p=402889 Fri, 25 Jan 2013 12:33:50 GMT Павел Joofaq, спасибо большое. При создании темы не показало подобных тем с ответом на мой вопрос. Решил проблему с дублями плагином, который ставит редирект 301 со всех дублей на одну страницу с урлом нужной категории. Медленней грузиться стал, но решил разом все проблемы с дублями. (Если такой плагин с бОльшим быстродействием посоветует кто, будет здорово) http://webmasters.ru/forum/showpost.php?p=402895 Fri, 25 Jan 2013 13:24:43 GMT Странно, я даже не заметил никаких тормозов при работе с плагином shnodoubles. Вы можете скинуть мне сайт в личку, может там что-то другое тормозит работу? Или скрипты конфликтуют? Кстати, попробуйте расписать свою проблему на форуме _http://hekima.ru/forum/index/Shnodoubles Я думаю, что Вам там обязательно помогут. ---------- Сообщение добавлено 17:24 ---------- Предыдущее 16:48 ---------- К сожалению, сейчас не успеваю полностью изучить Ваш сайт, так как нужно отъехать. Но мельком глянул, и вот, что сразу же бросается в глаза: Общая оценка PageSpeed для страницы составляет 33 (из 100). Если Вы не в курсе, то PageSpeed - это плагин для Google Chrome, с помощью которого можно определить скорость загрузки сайта и найти множество проблем, которые мешают браузеру открывать сайт быстрее. Если Вы мне доверяете, то можете скинуть данные для доступа в админку на этот сайт. Так я бы смог более подробно изучить проблему и помочь.