Цитата Сообщение от madcap Посмотреть сообщение
Ваше предположение о том, что робот сам должен на этапе индексации страниц сайта оценивать уникальность контента пока ничем не обосновано
Это включено в понятие "ранжирование сайтов".