[uadmitriy]

Вопрос можно свести к такой банальной форме: Как найти общее у двух страниц в контенте? Логика для процесса автоматизации

[tarkut]

интересная тема и для меня. давайте обсудим.
как я вижу такую реализацию.
бот бегает по сайту и грабит весь контент. потом разбивает все на пассажи и складывает все в базу. потом по какойто формуле найденой практическим путем определяет наиболее релевентные пассажи и потом все линкуется. идея думаю понятна, жду критики

[uadmitriy]

А если новостей миллиард. Нет, мне кажется стоит искать где-то в другом направлении.
Я с Украины, я не понимаю что такое пассаж

[Вадим]

Я с Украины, я не понимаю что такое пассаж

Пассаж – последовательность слов в тексте страницы, отделенная от других таких же последовательностей, одним из знаков препинания или hml-тегом.

[GROB666]

Без разницы, весь ваш сайт(блог) сам по себе одной тематики, поэтому можете линковать хоть как, лишь бы это было равномерно для ботов и полезно для людей...

[Славка]

Если миллиард статей, то почему бы не сделать метки к этим статьям? Метки забиваются в ручную при добавлении новости, или автоматом исходя из ключей (лучше конечно вручную). И по меткам уже видно что у них общее.

[uadmitriy]

Метки у статей есть

И по меткам уже видно что у них общее.

То что Вы говорите не послужит перелинковкой у новостей. Разве что как например на политическом сайта между новостями и разделом "Досье".

На счет пассажей интересно. Только как делить и выделять нужное. Неужели дублировать таблицу новостей по периоду одного из знаков препинания

[Славка]

Это смотря что добавляется в метки. Если как здесь висит "потом, стать...", то конечно не катит.
А если по названиям новостей брать сравнение? В них же, как правило, основной смысл закладывается.

[uadmitriy]

Славка, думал, если семантически

[Kurier]

Метки не очень хороши в перелинковке. Их вообще лучше запретить к индексации.