[TimHam]

Добрый день, уважаемые форумчани. Столкнулся с рядом проблем при индексации сайта на joomla.
1) Это копии страниц. В соответствии с этим у меня есть вопросы: как убрать или закрыть индексацию страниц со всякими id и так далее. Хочу что бы только индексировал http://сайт/vasapupken
2) Если у меня уже проиндексировали страницу http://сайт/vasapupken А я хочу что бы страница теперь отображалась как http://сайт/vasa-pupken Соответственно эта http://сайт/vasapupken страница уже будут с ошибкой 404. Как мне ее удалить из яндекса и других поисковиков и проиндексировать http://сайт/vasa-pupken И не будет ли это вредно в плане Тиц и так далее.
3) Как мне склеить уже имеющиеся страницы в яндекс.мастере и гугле. Добавлять 301 редирек на каждую страницу не вариант(

4) Как закрыть от индексации определенные категории на сайте?


Вроде пока все, кто сможет помочь буду благодарен.

[genjnat]

Для начала, включите в общих настройках SEO, mod_rewrite, да и суффикс к URL, не лишнее (если до сих пор этого не сделали). Это сразу уменьшит количество дублей в разы.
Но проблемы с уже существующими не решит. Потому как кривые страницы, 404 отдавать не будут, они по прежнему будут доступны по старым адресам.
Решать нужно настройкой robots.txt.
Запрещать вероятнее всего придется всякий динамический шлак Disallow: /*?
И индексный Disallow: /*index.php* и т.д.
По ID закрыть на джумле ничего не получится

А вообще – плохо, это сразу делать нужно было

[TimHam]

SEO, mod_rewrite,

и так далее было включено, единственное что родной sef модуль очень корявый, поэтому я пытаюсь теперь настроить sh404SEF.
Как же мне все таки произвести склейку страниц если они уже про индексировались по разным url?

И еще вопрос: у меня на сайте есть список различных мероприятий (типа анонса). Многие из них повторяются (раз в неделю или в две), но это делается модулем автоматически, и соответственно создает копию страницы. как мне сделать так, что бы яндекс и гугл не ругался на это - отправлять в архив или как?

[genjnat]

Склейка, выполняется 301 редиректом, что в вашем случае не реально.
Поэтому, как уже сказал выше – нужно запретить весь хлам в роботс и ждать переиндексации.
Что касается второго вопроса – опять таки – запрет в robots.txt, видимо по каталогу,
Disallow: /каталог с мусором/
Если в нем есть что полезное
Allow: /каталог с мусором/хорошая страничка
Поверить, чего вы назапрещали, можно здесь

---------- Сообщение добавлено 08:11 ---------- Предыдущее 08:08 ----------

sef модуль очень корявый

не, это руки
а вот

sh404SEF

действительно корявый

[TimHam]

genjnat, а переиндексация долго проходит? может мне просто удалить все страницы из вебмастера поисковиков и добавить сайт заново на индексацию или другой sitemap скормить?

[genjnat]

Чтобы удалить все страницы, вам придется запретить весь сайт к индексации – последствия - малопредсказуемые, лучше нормально настроить роботс и подождать
как долго - понятия не имею.
Часто обновляемые сайты, 1-3 апдейта, статичные, может и полгода.

[Павел Joofaq]

Здравствуйте! Меня раньше тоже часто мучили проблемы с дублями. Но сейчас, благодаря выходу Joomla 2.5 и умельцам на одном известном форуме о joomla - все проблемы решаемы! Итак, расскажу по порядку всё, что знаю и проверил в работе на Joomla 2.5:

1. Проблема: когда стандартный SEF включен, то при создании новой статьи и добавлении её в категорию, ссылки имеют такой вид: _sayt.ru/kategoriya/23-title-statiy, где 23 - это числовой идентификатор статьи, которые не совсем красиво смотрится.
Решение: есть несколько способов:
а) Первый способ указан тут _http://joomlaforum.ru/index.php/topic,169326.30.html Он заключается в том, что в Joomla 2.5 скрыта функция удаления этого числового идентификатора, а чтобы сделать её активной, нужно добавить код, указанный на том форуме. Эта фича работает на Joomla 1.6, 1.7, 2.5 - Проверено!!
б) Второй способ поинтереснее (я применил именно его) - нужно отредактировать файл ваш_сайт/components/com_content/router.php. Нужно в этом файле найти строчку: = $params->get('sef_advanced_link', 0); (там две этих строчки будут, одна примерно 27 строка, а вторая 208) и заменить значение "0" на "1" в обоих строках. Затем нужно найти вот этот код чуть ниже (примерно 228 строка):

PHP код:

  if (strpos($segments[0], ':') === false) {

          $vars['view'] = 'article';

          $vars['id'] = (int)$segments[0];

          return $vars;

     } 


и закомментировать его или удалить, как хотите. Этот способ обнаружил пользователь alex-leo

2. Проблема: собственно, самая главная проблема - это дубли страниц. Такие дубли, как сайт с "www" и sayt.ru/index.php можно убрать через htaccess с помощью этого кода:

PHP код:

RewriteEngine On
RewriteCond %{HTTP_HOST} ^www.sayt.ru$ [NC]
RewriteRule ^(.*)$ http://sayt.ru/$1 [R=301,L]
RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.php\ HTTP/
RewriteRule ^index\.php$ http://sayt.ru/ [R=301,L] 


А вот, чтобы избавить от большинства дублей, которые лезут отовсюду (типа sayt.ru/3434 или satr.ru/kategoriya/525345 и прочее), я рекомендую использовать специальный плагин, который поможет Вам избавиться от 99% дублей на сайте. Найти его можно на этом сайте _http://joomlaforum.ru/index.php/topic,201567.0.html Там есть версии для joomla 1.5 и для joomla 2.5. Кроме того, есть решение борьбы с дублями на некоторых компонентах, типа Virtuemart и K2. Кроме того, можно настроить в этом плагине, что будет отображаться при наборе неправильного адреса - ошибка 404 или будет редирект 301 на правильный адрес.

Думаю, что это поможет большинству пользователей, которые не используют на своем сайте сторонних компонентов для генерации ЧПУ! Работоспособность вышеупомянутых способов я лично проверял, так что не нужно писать, что что-то не работает, значит нужно внимательнее искать причину у себя.

P.S. Не забывайте, конечно же, про robots.txt. Как бы там не было, а без него никуда!

Рекомендую добавить в робота вот эти строки:

PHP код:

Disallow: /index.php
Disallow: /*?
Host: sayt.ru 


А если Вы хотите, чтобы постраничная навигация индексировалась, то тогда добавьте что-то типа этого в НАЧАЛЕ файла robots.txt:

PHP код:

Allow: /*?start= 


Внимание: вышеупомянутые строки у Вас могут отличаться! Я взял для примера страницы своих сайтов!

А ненужные ссылки, которые яндекс уже успел проиндексировать, я советую удалить из вебмастера вручную, чтобы они уже не вылезали.

[TimHam]

genjnat, а как правильно делается 301 редирекст. к примеру мне надо что бы с категории /kluby/ редирект шел на страницу nochnye-kluby.html?

[genjnat]

Вариантов организовать редирет много.
В данном случае можно простым
Redirect 301 /kluby/_http://nochnye-kluby.html вместо нижнего подчеркивания - пробел

---------- Сообщение добавлено 08:46 ---------- Предыдущее 08:42 ----------

Павел Joofaq, не проще ли добавить пару строчек в robots.txt

[TimHam]

genjnat, Павел Joofaq, а sh404SEF совсем не рекомендуете? лучше родным sef-ом пользоваться? кстати сайт на 1.5 joomla