Год назад я вынес предположение о негативном влиянии файлов robots.txt и sitemap на выдачу, т.к. при их наличии поисковые системы понимают, что сайт продвигается. О своих мыслях и мини-эксперименте можете почитать тут.
P.S. я уже предвижу вопрос, почему же у меня на блоге есть robots. Я отвечу: WP автоматически создает этот файл и у всех сайтов на WP он присутствует. Наоборот, удалив его, я бы как-то засветился. Да и блог сеошный, так что имею полное право закрыть все ненужное))
Похоже, что по умолчанию WP не всегда создает robots.txt
Полный бред. Откуда вы взяли, что ПСы против поисковой оптимизации? А то, что они сами дают рекомендации, как это правильно делать, придумано только ради прикола?)
Год назад я вынес предположение о негативном влиянии файлов robots.txt и sitemap на выдачу, т.к. при их наличии поисковые системы понимают, что сайт продвигается.
При наличии сайта поисковые системы понимают, что все это делается вебмастером намеренно и не просто так.
Чтобы ускорить появление страниц сайта в поиске, воспользуйтесь нашими рекомендациями ...
это яндекс намеренно дает такие рекомендации, что бы палить сайты которые продвигают. потому как создатели сайтов для людей про яндекс не знают и поэтому файлы robots.txt и sitemap не создают и им всегда сопутствует удача в продвижении своих сайтов.
Вот только непонятно почему тему про попадание сайтов под АГС за дубли контента и про плохую индексацию яндексом ростут на форумах как грибы после дождя.
это яндекс намеренно дает такие рекомендации, что бы палить сайты которые продвигают. потому как создатели сайтов для людей про яндекс не знают и поэтому файлы robots.txt и sitemap не создают
Не могу с вами согласиться. В качестве аргумента приведу ссылку: ссылка