[Mrsambuka]

Сегодня лазил в панеле вебмастера гугл и нашел такой ужас, я даже не знаю как такое получилось.. Ребята как это закрыть через роботс.тхт????

1) http://narutoclub.ru/naruto-shippuud...-shipuden.html
http://narutoclub.ru/blich/20-bleach...-bleach-1.html

2) http://narutoclub.ru/blich/page,1,2,20-bleach-1.html
http://narutoclub.ru/blich/page,1,1,20-bleach-1.html

3) http://narutoclub.ru/anime-online/9-...2721969845%2C0
http://narutoclub.ru/anime-online/9-...2721969845%2C0

4) разделы /page/1-2-3-4-4-5-6.....

[krockki]

Ставь примерно вот такой вот роботс и все)

User-agent: *
Disallow: /*print
Disallow: /*userinfo
Disallow: /2011/
Disallow: /index.php?subaction=userinfo
Disallow: /backupurl.php
Disallow: /admin.php
Disallow: /language/
Disallow: /templates/
Disallow: /tags/
Disallow: /newposts/
Disallow: /upgrade/
Disallow: /backup/
Disallow: /engine/
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=rules
Sitemap: сайт_твой/sitemap.xml

User-agent: Yandex
Disallow: /*print
Disallow: /*userinfo
Disallow: /2011/
Disallow: /index.php?subaction=userinfo
Disallow: /backupurl.php
Disallow: /admin.php
Disallow: /language/
Disallow: /templates/
Disallow: /tags/
Disallow: /newposts/
Disallow: /upgrade/
Disallow: /backup/
Disallow: /engine/
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=rules
Host: сайт_твой
Sitemap: сайт_твой/sitemap.xml

[Mrsambuka]

у меня примерно такой же, но выше перечисленные страницы он не закрывает.

[SibAgent]

как вариант

User-agent: *
Disallow: /engine/
Disallow: /user/
Disallow: /2009/
Disallow: /2010/
Disallow: /2011/
Disallow: /newposts/
Disallow: /language/
Disallow: /templates/
Disallow: /uploads/
Disallow: /backup/
Disallow: /page/*
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /index.php?do=search&mode=advanced
Disallow: /index.php?do=search
Disallow: /index.php?do=rules
Disallow: /links808511.php

Sitemap: http://narutoclub.ru/sitemap.xml


User-agent: Yandex
Disallow: /engine/
Disallow: /user/
Disallow: /2009/
Disallow: /2010/
Disallow: /2011/
Disallow: /newposts/
Disallow: /language/
Disallow: /templates/
Disallow: /uploads/
Disallow: /backup/
Disallow: /page/*
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /index.php?do=search&mode=advanced
Disallow: /index.php?do=search
Disallow: /index.php?do=rules
Disallow: /links808511.php

Host: narutoclub.ru
Sitemap: http://narutoclub.ru/sitemap.xml

также можно закрыть категории
Disallow: /ваша категория/

---------- Сообщение добавлено 02:42 ---------- Предыдущее 02:39 ----------

в настройках сайта нужно выбрать
Тип ЧПУ:
Тип 1 - ссылки на полную новость будут иметь вид http://site.ru/id-имя новости.html

---------- Сообщение добавлено 02:46 ---------- Предыдущее 02:42 ----------

Disallow: /upgrade/

вообще эта папка удаляется после обновления

[Mrsambuka]

1) а как закрыть все page?
2) вебмастерс съел проблему а я и не заметил.
narutoclub.ru/blich/20-bleach-1.html?http://narutoclub.ru/blich/20-bleach-1.html
narutoclub.ru/blich/page,1,2,20-bleach-1.html
narutoclub.ru/anime-online/9-pod-mostom-nad-arakavoj-arakawa-under-the-bridge.html?sms_ss=vk&at_xt=4da9e82721969845%2C0

[SibAgent]

1) а как закрыть все page?

Disallow: /page/*

в настройках сайта нужно выбрать
Тип ЧПУ:
Тип 1 - ссылки на полную новость будут иметь вид http://site.ru/id-имя новости.html

Если стоял другой Тип (к примеру Тип 2) то нужно делать редирект со старых страниц (в новой версии движка это можно сделать на автомате)

также можно закрыть любые категории
Disallow: /ваша категория/

[OKyJIucT]

Дважды саймап прописывать не надо :)
А после смены типа ЧПУ я обычно обновляю Sitemap через функционал движка.

[SibAgent]

А после смены типа ЧПУ я обычно обновляю Sitemap через функционал движка.

После нужно в Я мастере удалить старый Sitemap и добавить новый

[Mrsambuka]

а чем хуже тип 2 http://site.ru/категория/id-имя новости.html ?
и проблема не в этом, проблема откуда после расширения .html берется знак ? и дубль адреса, как ЭТО исправить?
и вот этот повтор: /page,1,2,20-bleach-1.html
и такое закрыть? .html?sms_ss=vk&at_xt=4da9e82721969845%2C0

[dpoint]

в webmasters можно URL parameters заблокировать от поиска