Данная конструкция, дубль или нет? Что думают про это поисковики? /id.html?ljubaja_hren Можно ли каким-нибудь образом закрыть их от индексации в коде страницы, через мета роботс, или делать редирект на id.html?
genjnat, Это было бы решением, ещё звездочку после добавить (/*?*), но для Яши. Гугл, насколько я знаю, не особо смотрит robots, что с ним тогда делать?
genjnat, нормально он только если мета-тегами noindex прописан на самой странице, при первичной индексации и Яндекс и Google могут с легкостью забить на директивы в robots.txt
Яндекс и Google могут с легкостью забить на директивы в robots.txt
Яндекс выполняет robots.txt очень четко. Та и гугл тоже, миф о том что он его игнорирт появился из-за того, что ссылки на запрещенные страницы остаются в индексе, но почему-то никто в упор не видит примечание Описание веб-страницы недоступно из-за ограничений в файле robots.txt.