[seorembo]

Так, почитал я отзывы, спасибо большое всем за Ваше мнение, в большинстве случаев негативное! Давайте отвечу, но прежде всего хочу сказать, что есть сеошники, солидарные со мной. Хотя бы давайте приведу нашего всеми известного пользователя Viotur. Почитайте его старую статью. А конкретнее пункт 2.2.

genjnat, от Вас самое негативное мнение, с Вами и подискутирую, если вы не против. Я попытаюсь донести свою мысль несколько иначе. Я много раз слышал на конференциях, читал об этом, да и это действительно так, что ПС хочет разнообразить ТОП. Т.е. чтобы в нем были сайты на разных ЦМС, форум, соц. группа, видео (в идеале и для некоммерческих тематик). Сейчас вебмастера научились уникализировать шаблоны, css, код и по этим параметрам трудновато определить к какой CMS относится сайт, да и у ПС (лично мое мнение) еще нет отлаженных алгритмов по этому. Но другое дело robots.txt. По нему сразу понятно, что в топе 4 WP, 4 Joomla и 2 DLE. Мое предположение в том, что при отсутствии этого файла поисковик не может понять CMS и следовательно сайт получает бонус при ранжировании за уникальность.

В статье я не говорил, что ПС негативно влияют, что цитируют все. Я написал: "она будет более либерально относиться к этому сайту".

Естественно, если у сайта куча дублей, ненужных страниц, идут параллельно десятки a/b тестов, то без роботса не обойтись. Однако, если это чистый сайт, если программист исправляет все дубли, то отсутствие роботса даст доп. плюсы пи ранжировании (это мое мнение).

Да и просто посмотрите высококонкурентные тематики (к примеру, "снять квартиру в москве"), в каждом топе есть сайты (иногда до половины), где нет роботса, а уж люди, которые их продвигают, наверняка знают что это такое!

[pyramida]

Да и просто посмотрите высококонкурентные тематики (к примеру, "снять квартиру в москве"), в каждом топе есть сайты (иногда до половины), где нет роботса, а уж люди, которые их продвигают, наверняка знают что это такое!

Эти сайты в топе не потому, что у них нет файла роботс, а потому что они отвечают на вопрос ищущего ответ на свой вопрос.

Погуглите понятие "машинная обработка данных".

[seorembo]

pyramida, конечно не по этому в основном, роботс это лишь малая часть! Но я уверен, если будет два одинаковых сайта на html с одинаковым ссылочным и поведенческими факторами, то выиграет тот, у кого не будет роботса

[feuer81]

DeleteD, люди пытаются найти волшебный способ, который противоречит логике и ... поймать волну траффика

[Denis Creative]

Нет.
Иначе знали бы, сколько мусора, технических страниц и дублей генерирую все популярные CMS.
Либо вы сами управляете индексацией, либо за вас это будут делать ПС, на свое усмотрение, т.е. – выкидывать нужное, оставлять барахло и определять релевантные страницы.

Популярные CMS типа Joomla?
Делайте нормальные сайты, и не нужно будет ничего закрывать.
У меня достаточно опыта и в создании, и в оптимизации сайтов, чтобы так говорить.

От вас столько негатива прет, как-будто мы тут дети пытаемся большому дяде объяснить почему 2+2=5.
Здесь обсуждаются только наблюдения и факты с примерами, возможные варианты, это форум вебмастеров, любой эксперимент, любая точка зрения может быть рассмотрена.
Естественно, если вы делаете сайты на Джумле, то убрать дубли, принты просто необходимо, и еще кучу всего придется сделать с сайтом, чтобы он вообще индексировался.

Но если делаете сайт статический или на самописной CMS без дублей и мусора, тогда роботс можно и опустить - никакой роли он все равно не сыграет. Но при этом естественно сам сайт и контент должны быть качественными.

Вот еще цитата по поводу похожего эксперимента из темы Создание псевдо-СДЛ для стабильного заработка (инструкции и скрины)

2.2. Никаких seo-движений:
- Не делаю роботс
- Не прописываю ключи и не оптимизирую под них страницы. Болдов минимум - если копирайтер сам решит что-нибудь отметить.
- Перелиновка - статьи по теме.
- Не делаю сайтмап
- Не добавляю в ЯВМ
- Не добавляю в адурилку.
- Не пользуюсь вообще никакими способами для ускорения индексации.

Это форум вебмастеров - не может быть одного правильного мнения, могут быть различные ситуации для разных сайтов, движков, тематик. Чтобы быть в топе нужно экспериментировать и пробовать разные способы, а не под копирку делать сайты на WP & Joomla с одинаковым набором плагинов, с одинаковыми роботсами и даже структурой...

[genjnat]

seorembo, не о чем здесь дискутировать
Как вы думаете, какую из этих страниц, ПС посчитают правильной (канонической), и какую из них в случае необходимости продвигать?
Эту
_http://www.codingstaff.com/blog/year/2013/month/1/day/24
эту
_http://www.codingstaff.com/blog/new-version-of-blog-machine-module-content-approva
или может эту
_http://www.codingstaff.com/blog/tag/online-service
Могу совершенно точно ответить – Яндекс – ту которую найдет первой, остальные в большинстве случаев, вообще исключит. Гугл делает это более адекватно, но косяки все равно будут.

Мое предположение в том, что при отсутствии этого файла поисковик не может понять CMS и следовательно сайт получает бонус при ранжировании за уникальность.

Еще одна гениальная идея.
По секрету, ПС совершенно наплевать на каком движке у вас сайт. А вот на то, как этот движок настроен – нет.

---------- Сообщение добавлено 10:36 ---------- Предыдущее 10:32 ----------

Но если делаете сайт статический или на самописной CMS без дублей и мусора

Такому сайту, настройки индексации, по определению не нужны - здесь речь о другом.
И да, из меня прет негатив, когда говорят явную глупость, и продолжают на ней настаивать.

[pyramida]

seorembo, говорить ничего не буду просто поставлю минус чтобы еретические мысли не лезли никому в голову.

[Denis Creative]

Такому сайту, настройки индексации, по определению не нужны - здесь речь о другом.

Так об этом и идет речь. Что если сайт может обойтись без роботса, то можно его и не делать, и сайтмап не ставить. В этом и суть всей темы.

[BastLegenda]

Нельзя так с ним. У человека и так развивается паранойя.

[Talismanchik]

Так об этом и идет речь. Что если сайт может обойтись без роботса, то можно его и не делать, и сайтмап не ставить. В этом и суть всей темы.

А если у меня хороший, качественный и пушистый сайт на WP - значит, у него должен быть robotx.txt. А это значит, что сайт плоховастенький для ПС???
Зато ручной говнястенький сайт, который не требует robots.txt - будет выше в топе!
Действительно, это суть темы...

seorembo, эксперименты - всегда хорошо, я их поддерживаю, но делай, пожалуйста, эксперименты не с двумя сайтами, а минимум с 20. А так это экспериментом не считаю.