[genjnat]

Denis Creative, перечитайте этот пост, и пройдите по ссылкам. Это и есть сайт который он "оптимизировал".

если сайт может обойтись без роботса, то можно его и не делать

Т.е. - если на сайте закрывать от индексации нечего, то можно не закрывать.
В этом суть темы?
Не кажется, что так еще дибильней получается?

[Denis Creative]

Denis Creative, перечитайте этот пост, и пройдите по ссылкам. Это и есть сайт который он "оптимизировал".

Именно этому сайту роботс не помешает

Если бы речь шла про сайты на HTML, то тема была бы еще бредовей - потому как на них, только те страницы, которые вы создали и запустили в индекс своими руками. Какой на них вообще может быть роботс?

Код:

User-agent: *
Disallow: /webstat
Disallow: /captcha
Disallow: /js
Disallow: /*?
Sitemap: http://denis-creative.com/sitemap.xml
Host: denis-creative.com

Например такой чем плох? Указан host и sitemap, закрыта папка с картинками капчи и возможные динамические адреса с ?
Мой сайт не рассматриваю как пример, потому что он заброшен, а роботс и карту делал только для того, чтобы в rds-баре всё было зеленое)

[genjnat]

Denis Creative, теперь вы мне хотите доказать, что и некоторым HTML сайтам robots нужен?:)

[Denis Creative]

Denis Creative, теперь вы мне хотите доказать, что и некоторым HTML сайтам robots нужен?

Вы слишком категорично ко всему относитесь)

1. Изначально суть этой темы в том, что если есть качественный сайт без дублей, то можно не делать роботс, также не делать карту и не добавлять в панель ВМ, посмотреть что из этого выйдет, ведь есть вполне удачные примеры такого эксперимента.

2. Вы отредактировали свой пост №31.
- Сначала вы писали, что для статического сайта не нужен роботс, я написал пример роботса для статического сайта, который не будет лишним, но и без него можно обойтись.
-

Т.е. - если на сайте закрывать от индексации нечего, то можно не закрывать.
В этом суть темы?
Не кажется, что так еще дибильней получается?

- роботс нужен не только для того, чтобы закрывать дубли - "В этом файле вебмастер может указать параметры индексирования своего сайта как для всех роботов сразу, так и для каждой поисковой системы по отдельности." Почитайте http://help.yandex.ru/webmaster/?id=996567#1111364

[genjnat]

Вы отредактировали свой пост №31.

Я отредактировал свой пост, потому что спохватился, что и на некоторых статичных сайтах настройки индексации могут быть необходимы И сейчас какой то умник, обязательно про это напишет
Denis Creative, - блин, я второй день доказываю что роботс нужен (в том числе и вам), а теперь вы начините это же доказывать мне
А, из вашего примера (в контексте обсуждения статичных сайтов), половину можно спокойно выбросить.
Disallow: /webstat
Disallow: /captcha
Это чего вообще? Или у вас каптча и статистика на отдельной странице открывается?
Disallow: /js – ну да, ПС психованные, залезут в папку со скриптами и проиндексируют как отдельные страницы.
Disallow: /*? – динамические страницы – единственное что действительно может быть нужным, и то, в определенных обстоятельствах.
Sitemap: - HTML сайты, это практически всегда малостраничники – они прекрасно индексируются и без сайтмап.
Host: - т.е. с www или без, если по уму, то задают 301 редиректом, потому как нужен всем ПС, а не только яндексу.
Т.е. – в большинстве случаев, HTML сайты могут обойтись без роботс. В отдельных случаях он нужен и им. Суть не в этом, а в том, что управлять индексацией своего сайта нужно самому.
Я предлагаю закончить этот диалог – он тупой.

[seorembo]

Ладно ребята, надо просить закрывать тему, пока меня не заминусовали тут! Не в обиду форуму, но тут только получают плюсы за статьи про халяву, паление тем и т.д. Большинство Золотых тем содержат слово "бесплатно", либо же о конкурсах.
Каждый форум для своей аудитории, тут лучше заходит что-то про халяву. По себе знаю, у меня единственный золотой пост о халявном контенте. На других форумах (по правилам их нельзя называть) мое предположение гораздо более позитивно зашло.
Немного только раздражает мнение пользователей о том, что их мнение правильное, хотя в сути даже разобраться не пытаются.

А если у меня хороший, качественный и пушистый сайт на WP - значит, у него должен быть robotx.txt. А это значит, что сайт плоховастенький для ПС???

Где я говорил хоть раз, что наличие robots.txt это плохо?? Я лишь писал, что его наличие - явный способ указать ПС, что над сайтом работает оптимизатор. А зачем нам это нужно?? Естественно для многих ресурсов роботс необходим, особенно если мы продвигаем под Яндекс.

Denis Creative, мне кажется Вы единственный поняли суть темы, за что Вам спасибо!

genjnat, Вы уж извините, но от постов Ваших так и прет негативом!

Это и есть сайт который он "оптимизировал".

Задача сеошника - вывести сайт в топ. Кому-то надо на это купить 100 ссылок, кто-то сможет и без них. Кому-то надо писать постоянно контент, а кто-то спокойно вдвинет одностраничник. Я стараюсь продвигать сайты путями, которые далеки от мнения масс. Критику я бы принимал в адрес, если бы не достигал финальной цели.

Насчет предложения закончить диалог я согласен! Считаю пустой тратой и вашего и своего времени!

[AlexLeo]

Да вы возьмите любого конкурента, любой посещаемый сайт и т.д ... И увидите что там должно быть. А по теме - бред.

- Стой, кто идет?
- Поисковый бот.
- Входи, входи, только через окно, и не удивляйся что там яма с капканом..."

[Denis Creative]

Напоследок

Это форум вебмастеров - не может быть одного правильного мнения, могут быть различные ситуации для разных сайтов, движков, тематик. Чтобы быть в топе нужно экспериментировать и пробовать разные способы, а не под копирку делать сайты на WP & Joomla с одинаковым набором плагинов, с одинаковыми роботсами и даже структурой...

[Talismanchik]

Где я говорил хоть раз, что наличие robots.txt это плохо?

Ну хотя бы:

В какой-то момент я задал вопрос себе: вот у меня сайт, на него ведут только естественные ссылки, контент действительно для людей, выходит в разное время… Как еще может поисковая система узнать о том, что кто-то «продвигает» мой ресурс. Единственное, что остается – это грамотно оптимизированное внутреннее ядро сайта, а именно правильный robots.txt, где закрыты все дубли, идеальный sitemap со всеми страницами и т.д.. Вот даже логически, как может сайт, который якобы не продвигается, иметь грамотный robots и sitemap? По-любому хоть кто-то, но советовал что-то по оптимизации, и ПС уже понимает, что бонусы при ранжировании такому ресурсу давать не надо.

Вот еще:

Но вот все же почему чистые html сайты так хорошо продвигаются? Может быть не только из-за отсутствия лишнего кода, но и отсутствии элементов, указывающих на продвижение ресурса?

Естественный вывод из сказанного, что robots.txt - это плохо.

Я лишь писал, что его наличие - явный способ указать ПС, что над сайтом работает оптимизатор.

А разве это плохо, что над сайтом кто-то работает? Ведь это показатель того, что за сайтом кто-то следит, что он не заброшен, что он обновляется и совершенствуется.
Даже наличие robots.txt должно говорить, что веб-администратору не безразличен сайт и что он следит за дублями скажем так.
Так что получается, что robots.txt необходим и очень даже полезен для сайта.

Немного только раздражает мнение пользователей о том, что их мнение правильное, хотя в сути даже разобраться не пытаются.

Если тебя раздражает наше мнение, то не стоит наверное вообще создавать темы, способные вызвать критику, и заходить на этот форум. Ты высказал свое мнение, а мы - свое. seorembo, я наоборот считаю, что мы хорошо с тобой общаемся, обмениваемся мнениями.

seorembo, мне например было интересно узнать о таком неординарном взгляде на восприятие поисковиками robots.txt