[Denis Creative]

На самом деле эксперимент интересный, и хотелось бы его повторить только с коммерческими запросами в рунете, потому что уже не в первый раз встречаются сайты, с которыми специально ведется минимум работ по продвижению, и они успешно влетают в топы.

[genjnat]

Denis Creative, вы вообще понимает что написали – какое отношение настройки индексации к продвижению имею?
Или и вправду думаете, что если отдавать ПС весь мусор, который есть на сайте, он в топ полезет?

[WSairus]

Не согласен с ТС. Правильная индексация сайта, отсутствие дублей и технических страниц является хорошим плюсом любому сайту. Конечно ПС (Google точно) со временем сам удаляет из индекса не информативные страницы. Однако это не повод забить на сайт. Если Вы конечно не провокатор

[pinskiy]

это яндекс намеренно дает такие рекомендации, что бы палить сайты которые продвигают. потому как создатели сайтов для людей про яндекс не знают и поэтому файлы robots.txt и sitemap не создают и им всегда сопутствует удача в продвижении своих сайтов.

Скажите это тому же "Мегафону", который "потерял" базу SMS в позапрошлом году. Или белорусского МТБанка, который также забыл закрыть от индексации базу клиентов. И речь ведь не о SEO, а о банальной безопасности.

[Леопольд]

Не пойму вас - на подопытных ваших сайтах robot.txt не нужен, а на вашем же seo-боге нужен чтоб скрыть лишнюю информацию. Т.е. вы считаете что лишняя информация может быть лишь в seo блогах?

[Grishchenkoff]

Чувствую пахнет заговоров ПС против оптимизаторов))) Я оптимизирую сайты уже более 2-ух лет, как объяснить тот факт что после оптимизации, позиции в сайтов только ростут. Наверное всемирное зло "ПС" меня еще не засекли, пойду дальше заметать следы:)

[Denis Creative]

Denis Creative, вы вообще понимает что написали – какое отношение настройки индексации к продвижению имею?
Или и вправду думаете, что если отдавать ПС весь мусор, который есть на сайте, он в топ полезет?

Я прекрасно понимаю, что пишу. Мусор нужно просто не делать.
Я имею в виду, что можно провести такие эксперименты с нормальными сайтами без использования роботов, карт и добавления в панель ВМ. Но при этом сайт по умолчанию должен быть качественным, уник контент, уник дизайн, "естественные ссылки".

Теперь пример,
1. На форуме куча тем, типа "сделал крутой сайт, оптимизировал, и вот месяц не могу загнать его в Яндекс".
2. Я делал для заказчика несколько сайтов с уникальными шаблонами, которые верстал, тексты он сам ставил уникальные, сайты никуда он не добавлял, я даже сначала не создавал карт и роботов, и в течении недели сайты были проиндексированы без каких-либо манипуляций.

Так что что-то в этом есть.

[genjnat]

Так что что-то в этом есть.

Да, глупость

Я прекрасно понимаю, что пишу. Мусор нужно просто не делать.

Нет.
Иначе знали бы, сколько мусора, технических страниц и дублей генерирую все популярные CMS.
Либо вы сами управляете индексацией, либо за вас это будут делать ПС, на свое усмотрение, т.е. – выкидывать нужное, оставлять барахло и определять релевантные страницы.

[AlexDV]

Единственное, с чем согласен с ТС - не пользоваться аддурилкой. Как минимум просто не будет пользы, максимум - для Яндекса это некий спамоуловитель для дополнительного фильтра. Ну и да, сайты на чистом html без cms поисковики любят сильнее, думаю, потому что такие сайты воспринимаются, как произведение собственного творчества и знаний, что и вреальной жизни ценится выше. Кстати, если проводить параллель, ценности произведений и труда в реальности и сети - можно найти некоторые закономерности и схожесть - ведь программистам алгоритмов ранжирования надо откуда-то черпать оценочность продуктов

[Talismanchik]

Год назад я вынес предположение о негативном влиянии файлов robots.txt и sitemap на выдачу, т.к. при их наличии поисковые системы понимают, что сайт продвигается.

Яндекс с Гуглом тоже имеют robots.txt, значит тоже продвигаются и это тоже на них негативно влияет?!
Надо Брину сообщить... , т.к. Гугл еще и sitemap использует.

вы вообще понимает что написали – какое отношение настройки индексации к продвижению имею?
Или и вправду думаете, что если отдавать ПС весь мусор, который есть на сайте, он в топ полезет?

Они наверное думают, что лучше отдавать ПС страницы для печати (это к примеру) и т.д.
Ну пусть так и думают. Другим будет проще...