[Green-Seo]

Здравствуйте форумчане!!!
Правильно ли я создал Robots.txt на DLE?

Код:

User-agent: Yandex
Disallow: /user/
Disallow: /reputation/
Disallow: /engine/
Disallow: /go.php
Disallow: /cgi-bin/
Disallow: /language/
Disallow: /templates/
Disallow: /newposts/
Disallow: /favorites/
Disallow: /cat/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*do=search
Disallow: /*page/*
Disallow: /*2009/*
Disallow: /*2010/*
Disallow: /*2011/*
Disallow: /*2012/*
Host: site.info
Sitemap: http://site.info/sitemap.xml

User-Agent: *
Disallow: /user/
Disallow: /reputation/
Disallow: /engine/
Disallow: /go.php
Disallow: /cgi-bin/
Disallow: /language/
Disallow: /templates/
Disallow: /newposts/
Disallow: /favorites/
Disallow: /cat/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*do=search
Disallow: /*page/*
Disallow: /*2009/*
Disallow: /*2010/*
Disallow: /*2011/*
Disallow: /*2012/*
Sitemap: http://site.info/sitemap.xml

Я вот просто юзал панель вебмастера гугл и заметил такое:
Если ставить блокировку всех страниц то тип будет Disallow: / а если разрешить все для индексации то Allow: /
А у меня тип как видите стоит Disallow: / (и я вот думаю может по этому нет страниц в Google,хотя яшей сайт индексируется норм)

[viotur]

Green-Seo, нет смысла дублировать User-agent: Yandex и User-Agent: * если они одинаковы. и Sitemap: http://site.info/sitemap.xml достаточно один раз указать в конце. Насколько я вижу, от Гугла ничего не закрыто)))


И /*2009/* зачем вам звездочки использовать?

[Green-Seo]

И /*2009/* зачем вам звездочки использовать?

Сам не знаю:)

[viotur]

Как я понимаю, это разделы архивов. Тогда

Disallow: /2011/ чтобы закрыть урлы статей в архиве. Но смысл в этом какой? В индексе будут только последние материалы.

[Green-Seo]

Так будет норм?

Код:

User-agent: 
Disallow: /user/
Disallow: /reputation/
Disallow: /engine/
Disallow: /go.php
Disallow: /cgi-bin/
Disallow: /language/
Disallow: /templates/
Disallow: /favorites/
Disallow: /cat/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*do=search
Disallow: /*page/*
Host:  site.info
Sitemap:  http://site.info/sitemap.xml

[viotur]

Лучше это закройте - /tags/

Сейчас еще посмотрю у вас на сайте, я с ДЛЕ давно не работаю..

[Green-Seo]

Лучше это закройте - /tags/

Почему???я на оборот открыл,так теги индексируются,и переходы даже есть...

[viotur]

Disallow: /*page/* Это что?Я не вижу у вас такого раздела...

[Green-Seo]

Disallow: /*page/* Это что?Я не вижу у вас такого раздела..

Убрал...

[viotur]

Green-Seo, страниц на сайте мало, получаются по тегам почти дубли:

http://o-news.info/tags/%D2%F3%F0%E8%E7%EC/

http://o-news.info/turizm/