[uadmitriy]

Kurier, аргументация?

[bleik]

uadmitriy, если метки не закрывать от индексации, то это очередные дубли страниц на сайте, ну а если, они закрыты от индексации, то какая уж тут может быть перелинковка. Ведь цель перелинковки это: дать возможность пользователю удобство перемещения по сайту, а также использовать этот метод, как помощь в продвижении сайта по НЧ запросам. А для этого нужен передаваемый вес ссылками, что не осуществимо при закрытии меток от индексации.

[Думка]

Линкуют обычно по ключам-вхождениям в текст... так не проще задав список нужных ключей их и искать? Или имеется ввиду вики-линковка для внутренней перелинковки?

[steel1945]

Очевидно, что внутренняя перелинковка делается для поднятия запросов, поэтому чтобы найти общее между двумя страницами вводим запрос в Яндекс/Google с поиском по сайту и линкуем второе-третье место в выдаче на первое. Более подробно написано здесь

[uadmitriy]

Супер, коллеги. Вариант выбран такой - делим новость на пассажи, ищем % совпадения с заголовками по времени, и если сервер пассаж-пассаж.

[uadmitriy]

друзья, бред получается

Развернуть текст

similar_text: 97.2222222222% levenshtein: 94.7368421053% (1):
3393: по данным следствия
125: По данным следствия

similar_text: 83.3333333333% levenshtein: 69.2307692308% (4):
3393: по данным МВД
125: По данным СМИ

similar_text: 79.4117647059% levenshtein: 56.25% (12):
3393: в том числе педофилии
126: в том числе пива

similar_text: 74.2857142857% levenshtein: 47.0588235294% (12):
3393: по словам Луценко
161: По словам Бортникова

similar_text: 79.4117647059% levenshtein: 58.8235294118% (9):
3393: по данным следствия
164: по данным издания

similar_text: 75% levenshtein: 46.1538461538% (11):
3393: по данным МВД
164: по данным издания

similar_text: 79.4117647059% levenshtein: 58.8235294118% (9):
3393: по данным следствия
221: по данным издания

similar_text: 75% levenshtein: 46.1538461538% (11):
3393: по данным МВД
221: по данным издания

similar_text: 79.6019900498% levenshtein: 35.1851851852% (35):
3393: экс-министр внутренних дел Украины Юрий Луценко заявил
253: У экс-министра внутренних дел Юрия Луценко взяли кровь

similar_text: 81.4814814815% levenshtein: 61.5384615385% (14):
3393: По данным правоохранителей
254: По информации правоохранителей

similar_text: 81.25% levenshtein: 64.7058823529% (6):
3393: по словам Луценко
286: По словам Бурлака

similar_text: 73.786407767% levenshtein: 60% (27):
3393: в состав группировки
300: входящие в состав группировки Anonymous

similar_text: 80% levenshtein: 60.8695652174% (14):
3393: Правоохранители говорят
361: Правоохранители подчеркивают

similar_text: 72.9411764706% levenshtein: 57.1428571429% (14):
3393: в том числе педофилии
371: в том числе на нефть и газ

similar_text: 68% levenshtein: 69.2307692308% (9):
3393: по данным МВД
380: По данным comScore

similar_text: 65.9340659341% levenshtein: 47.619047619% (18):
3393: в том числе педофилии
419: в том числе и велосипедистов

similar_text: 77.1084337349% levenshtein: 52.6315789474% (14):
3393: Луценко тогда подчеркнул
424: Хандогий подчеркнул

similar_text: 73.6842105263% levenshtein: 57.8947368421% (12):
3393: по данным следствия
466: По данным агентства AFP

similar_text: 97.2222222222% levenshtein: 94.7368421053% (1):
3393: по данным следствия
478: По данным следствия

similar_text: 87.5% levenshtein: 76.9230769231% (3):
3393: по данным МВД
498: по данным СМИ

similar_text: 80.5555555556% levenshtein: 42.1052631579% (11):
3393: по данным следствия
509: По данным ведомства

similar_text: 75% levenshtein: 46.1538461538% (10):
3393: водитель ректора
542: Водитель убит

similar_text: 70.5882352941% levenshtein: 47.0588235294% (11):
3393: по данным следствия
543: по данным полиции

similar_text: 75% levenshtein: 46.1538461538% (11):
3393: по данным МВД
543: по данным полиции

similar_text: 56.6666666667% levenshtein: 47.0588235294% (9):
3393: 25-летняя Татьяна
543: 16-летняя девушка

similar_text: 75% levenshtein: 52.9411764706% (8):
3393: по словам Луценко
548: По словам Киреева

similar_text: 70.5882352941% levenshtein: 47.0588235294% (11):
3393: по данным следствия
552: по данным полиции

similar_text: 75% levenshtein: 46.1538461538% (11):
3393: по данным МВД
552: по данным полиции

similar_text: 71.2328767123% levenshtein: 47.3684210526% (11):
3393: по данным следствия
608: По данным ЦИК Латвии

similar_text: 83.3333333333% levenshtein: 69.2307692308% (4):
3393: по данным МВД
608: По данным ЦИК

similar_text: 83.3333333333% levenshtein: 69.2307692308% (4):
3393: по данным МВД
618: По данным СМИ

similar_text: 76.4705882353% levenshtein: 52.9411764706% (10):
3393: по данным следствия
660: По данным издания

similar_text: 60.7142857143% levenshtein: 69.2307692308% (15):
3393: по данным МВД
666: По данным GHANAsoccernet

similar_text: 75.7575757576% levenshtein: 41.1764705882% (11):
3393: по словам Луценко
681: по словам Паньшина

similar_text: 67.7966101695% levenshtein: 53.8461538462% (15):
3393: по данным МВД
688: По данным на 20:30 мск

similar_text: 72.7272727273% levenshtein: 50% (11):
3393: по данным следствия
712: По данным службы

similar_text: 74.0740740741% levenshtein: 46.1538461538% (10):
3393: по данным МВД
712: По данным службы

similar_text: 91.6666666667% levenshtein: 84.6153846154% (2):
3393: по данным МВД
740: по данным МЧС

similar_text: 62.5% levenshtein: 46.1538461538% (20):
3393: по данным МВД
741: По данным газеты Dagbladet

similar_text: 83.3333333333% levenshtein: 69.2307692308% (4):
3393: по данным МВД
768: По данным СМИ

similar_text: 76.4705882353% levenshtein: 52.9411764706% (10):
3393: по данным следствия
816: По данным издания

similar_text: 72.1649484536% levenshtein: 45.8333333333% (15):
3393: По данным правоохранителей
819: отметили правоохранители

similar_text: 87.5% levenshtein: 76.9230769231% (3):
3393: по данным МВД
825: по данным НБУ

similar_text: 84.8484848485% levenshtein: 70.5882352941% (6):
3393: по словам Луценко
825: По словам Левченко

similar_text: 76.4705882353% levenshtein: 52.9411764706% (10):
3393: по данным следствия
833: По данным издания

similar_text: 83.1683168317% levenshtein: 63.6363636364% (17):
3393: процесс будет закрытым
867: Судебный процесс будет закрытым

similar_text: 75.7575757576% levenshtein: 52.9411764706% (9):
3393: по словам Луценко
870: По словам Стадника

similar_text: 75.8620689655% levenshtein: 50% (10):
3393: по словам Луценко
1001: По словам Фуле

similar_text: 87.5% levenshtein: 76.9230769231% (3):
3393: по данным МВД
1025: по данным СМИ

similar_text: 74.0740740741% levenshtein: 46.1538461538% (10):
3393: по данным МВД
1084: По данным газеты

similar_text: 72.2891566265% levenshtein: 57.1428571429% (12):
3393: в том числе педофилии
1086: В том числе пожилые люди

similar_text: 76.4705882353% levenshtein: 52.9411764706% (10):
3393: по данным следствия
1090: По данным издания

similar_text: 74.0740740741% levenshtein: 46.1538461538% (10):
3393: по данным МВД
1091: По данным газеты

similar_text: 75% levenshtein: 52.9411764706% (8):
3393: по словам Луценко
1094: По словам Михеева

similar_text: 61.5384615385% levenshtein: 52.380952381% (22):
3393: в том числе педофилии
1120: в том числе гигантский Airbus-380

similar_text: 84% levenshtein: 69.2307692308% (5):
3393: по данным МВД
1127: По данным КМИС

similar_text: 88% levenshtein: 76.9230769231% (4):
3393: по данным МВД
1127: по данным КМИС

similar_text: 79.5454545455% levenshtein: 50% (16):
3393: По данным правоохранителей
1142: По данным спасателей

similar_text: 81.25% levenshtein: 52.9411764706% (8):
3393: по словам Луценко
1183: по словам тренера

similar_text: 75% levenshtein: 47.0588235294% (13):
3393: по словам Луценко
1185: по словам Колесникова

similar_text: 81.25% levenshtein: 52.9411764706% (8):
3393: по словам Луценко
1187: по словам тренера

similar_text: 81.25% levenshtein: 52.9411764706% (8):
3393: по словам Луценко
1205: по словам тренера

similar_text: 78.3783783784% levenshtein: 57.8947368421% (10):
3393: в том числе педофилии
1238: в том числе женщину

similar_text: 77.7777777778% levenshtein: 47.3684210526% (10):
3393: по данным следствия
1239: По данным агентства

similar_text: 76.4705882353% levenshtein: 41.1764705882% (12):
3393: по данным следствия
1245: по данным Псарева

similar_text: 75% levenshtein: 46.1538461538% (11):
3393: по данным МВД
1245: по данным Псарева

similar_text: 97.2222222222% levenshtein: 94.7368421053% (1):
3393: по данным следствия
1251: По данным следствия

similar_text: 78.2608695652% levenshtein: 56.25% (12):
3393: а также уроженец
1251: а также сестра Дженет

similar_text: 77.7777777778% levenshtein: 52.6315789474% (9):
3393: по данным следствия
1252: по версии следствия

similar_text: 97.2222222222% levenshtein: 94.7368421053% (1):
3393: по данным следствия
1259: По данным следствия

similar_text: 78.2608695652% levenshtein: 56.25% (12):
3393: а также уроженец
1259: а также сестра Дженет

similar_text: 72% levenshtein: 76.9230769231% (8):
3393: по данным МВД
1262: по данным EuroNews

similar_text: 73.3333333333% levenshtein: 46.6666666667% (10):
3393: по словам Луценко
1278: По словам Краби

similar_text: 73.3333333333% levenshtein: 46.6666666667% (10):
3393: по словам Луценко
1282: по словам врача

similar_text: 97.2222222222% levenshtein: 94.7368421053% (1):
3393: по данным следствия
1308: По данным следствия

similar_text: 97.2222222222% levenshtein: 94.7368421053% (1):
3393: по данным следствия
1313: По данным следствия

similar_text: 76.4705882353% levenshtein: 52.9411764706% (10):
3393: по данным следствия
1317: По данным издания

similar_text: 72.7272727273% levenshtein: 46.1538461538% (11):
3393: по данным МВД
1328: По данным на утро

similar_text: 76.4705882353% levenshtein: 52.9411764706% (10):
3393: по данным следствия
1334: По данным издания

similar_text: 69.0476190476% levenshtein: 47.619047619% (16):
3393: в том числе педофилии
1357: в том числе 381 манускрипт

similar_text: 77.4193548387% levenshtein: 50% (15):
3393: По данным правоохранителей
1359: Сейчас правоохранители

similar_text: 72.7272727273% levenshtein: 47.0588235294% (10):
3393: по словам Луценко
1359: По словам мастеров

similar_text: 62.962962963% levenshtein: 69.2307692308% (13):
3393: по данным МВД
1363: По данным Daily Mirror

similar_text: 69.387755102% levenshtein: 69.2307692308% (8):
3393: по данным МВД
1365: По данным Reuters

similar_text: 76.1904761905% levenshtein: 46.1538461538% (14):
3393: за хорошего человека
1365: зашел человек

similar_text: 74.2857142857% levenshtein: 47.0588235294% (12):
3393: по словам Луценко
1368: по словам журналиста

similar_text: 74.2857142857% levenshtein: 47.0588235294% (12):
3393: по словам Луценко
1371: по словам журналиста

similar_text: 77.4193548387% levenshtein: 50% (15):
3393: По данным правоохранителей
1375: Сейчас правоохранители

similar_text: 72.7272727273% levenshtein: 47.0588235294% (10):
3393: по словам Луценко
1375: По словам мастеров

similar_text: 72.7272727273% levenshtein: 45.4545454545% (23):
3393: В результате обыска в квартире ректора
1387: В результате взрыва в центре Осло

similar_text: 96.875% levenshtein: 94.1176470588% (1):
3393: по словам Луценко
1404: По словам Луценко

similar_text: 73.3096085409% levenshtein: 51.4285714286% (43):
3393: Михайлов был доверенным лицом кандидата в президенты Виктора Януковича
1417: Эти изменения тоже содержала программа кандидата в президенты Виктора Януковича

similar_text: 79.4871794872% levenshtein: 52.6315789474% (12):
3393: по данным следствия
1424: По данным исследования

similar_text: 82.0512820513% levenshtein: 57.8947368421% (11):
3393: по данным следствия
1424: по данным исследования

similar_text: 77.4193548387% levenshtein: 56.25% (8):
3393: по словам Луценко
1424: По словам ученых

similar_text: 95.8333333333% levenshtein: 92.3076923077% (1):
3393: по данным МВД
1471: По данным МВД

similar_text: 83.3333333333% levenshtein: 69.2307692308% (4):
3393: по данным МВД
1485: По данным ООН

similar_text: 75.7575757576% levenshtein: 47.0588235294% (10):
3393: по словам Луценко
1497: По словам Брейвика

similar_text: 70% levenshtein: 53.3333333333% (9):
3393: по словам Луценко
1526: -сказал Луценко

similar_text: 75.7575757576% levenshtein: 47.0588235294% (10):
3393: по словам Луценко
1593: По словам Брейвика

similar_text: 78.125% levenshtein: 41.1764705882% (10):
3393: по словам Луценко
1626: По словам медиков

similar_text: 80.6451612903% levenshtein: 60% (8):
3393: три видеокамеры
1636: стоит видеокамера

similar_text: 75.6756756757% levenshtein: 52.6315789474% (11):
3393: в том числе педофилии
1641: в том числе Украина

similar_text: 75.6097560976% levenshtein: 47.3684210526% (15):
3393: Луценко тогда подчеркнул
1663: Он также подчеркнул

similar_text: 75.6097560976% levenshtein: 47.3684210526% (15):
3393: Луценко тогда подчеркнул
1667: Он также подчеркнул

similar_text: 84.375% levenshtein: 58.8235294118% (7):
3393: по словам Луценко
1690: По словам ученого

similar_text: 75% levenshtein: 52.9411764706% (8):
3393: по словам Луценко
1701: По словам Мосеева

similar_text: 66.6666666667% levenshtein: 69.2307692308% (10):
3393: по данным МВД
1734: По данным Billboard

similar_text: 46.5753424658% levenshtein: 47.3684210526% (20):
3393: по данным следствия
1750: По данным The Daily Telegraph

similar_text: 55.737704918% levenshtein: 69.2307692308% (20):
3393: по данным МВД
1750: По данным The Daily Telegraph

similar_text: 84% levenshtein: 65.3846153846% (9):
3393: По данным правоохранителей
1756: По версии правоохранителей

similar_text: 80.5970149254% levenshtein: 60% (11):
3393: за хорошего человека
1773: хороший человек

similar_text: 75.5555555556% levenshtein: 43.4782608696% (14):
3393: Луценко тогда подчеркнул
1788: Песков особо подчеркнул

similar_text: 75% levenshtein: 47.0588235294% (9):
3393: по словам Луценко
1788: По словам Пескова

similar_text: 84% levenshtein: 65.3846153846% (9):
3393: По данным правоохранителей
1793: По версии правоохранителей

similar_text: 84% levenshtein: 65.3846153846% (9):
3393: По данным правоохранителей
1818: По версии правоохранителей

similar_text: 74.0740740741% levenshtein: 46.1538461538% (10):
3393: по данным МВД
1827: По данным опроса

similar_text: 83.3333333333% levenshtein: 76.9230769231% (3):
3393: по данным МВД
1827: по данным ФОМ

similar_text: 74.2857142857% levenshtein: 47.0588235294% (12):
3393: по словам Луценко
1828: по словам Корняковой

similar_text: 40.6779661017% levenshtein: 46.1538461538% (23):
3393: по данным МВД
1830: 20 Данные GfK GeoMarketing

similar_text: 73.5294117647% levenshtein: 52.9411764706% (10):
3393: по словам Луценко
1830: по словам Оборского

similar_text: 74.0740740741% levenshtein: 46.1538461538% (10):
3393: по данным МВД
1841: По данным опроса

similar_text: 83.3333333333% levenshtein: 76.9230769231% (3):
3393: по данным МВД
1841: по данным ФОМ

similar_text: 97.2222222222% levenshtein: 94.7368421053% (1):
3393: по данным следствия
1848: По данным следствия

similar_text: 75.7575757576% levenshtein: 52.9411764706% (9):
3393: по словам Луценко
1878: По словам Зайцевой

similar_text: 76.4705882353% levenshtein: 52.9411764706% (10):
3393: по словам Луценко
1924: По словам источника

similar_text: 75.6097560976% levenshtein: 47.3684210526% (15):
3393: Луценко тогда подчеркнул
1925: Он также подчеркнул

similar_text: 70.7317073171% levenshtein: 47.619047619% (14):
3393: в том числе педофилии
1952: в том числе 3 иностранца

similar_text: 58.8235294118% levenshtein: 47.619047619% (16):
3393: в том числе педофилии
1952: в том числе 14 иностранцев

similar_text: 73.5632183908% levenshtein: 47.619047619% (16):
3393: что в ноябре прошлого года
1956: что было прошлом году

similar_text: 72.7272727273% levenshtein: 46.1538461538% (22):
3393: что в ноябре прошлого года
1970: чем за тот же период прошлого года

similar_text: 77.7777777778% levenshtein: 47.3684210526% (10):
3393: по данным следствия
2021: По данным агентства

similar_text: 77.7777777778% levenshtein: 47.3684210526% (10):
3393: по данным следствия
2039: По данным агентства

similar_text: 91.6666666667% levenshtein: 84.6153846154% (2):
3393: по данным МВД
2052: по данным МЧС

similar_text: 60% levenshtein: 46.1538461538% (25):
3393: по данным МВД
2089: по данным портала Transfermarkt

similar_text: 77.7777777778% levenshtein: 53.8461538462% (9):
3393: а также уроженец
2089: а также Сиена

similar_text: 87.5% levenshtein: 76.9230769231% (3):
3393: по данным МВД
2099: по данным СМИ

similar_text: 75.2475247525% levenshtein: 45.4545454545% (21):
3393: процесс будет закрытым
2102: Воскресный съезд будет закрытым

similar_text: 46.5753424658% levenshtein: 47.3684210526% (20):
3393: по данным следствия
2106: По данным The Daily Telegraph

similar_text: 55.737704918% levenshtein: 69.2307692308% (20):
3393: по данным МВД
2106: По данным The Daily Telegraph

similar_text: 76.4705882353% levenshtein: 52.9411764706% (10):
3393: по данным следствия
2168: По данным издания

similar_text: 46.5753424658% levenshtein: 47.3684210526% (20):
3393: по данным следствия
2168: По данным The Daily Telegraph

similar_text: 55.737704918% levenshtein: 69.2307692308% (20):
3393: по данным МВД
2168: По данным The Daily Telegraph

similar_text: 69.387755102% levenshtein: 69.2307692308% (8):
3393: по данным МВД
2187: По данным The Sun

similar_text: 79.012345679% levenshtein: 50% (12):
3393: в состав группировки
2200: Преступные группировки

similar_text: 74.1935483871% levenshtein: 50% (9):
3393: по словам Луценко
2240: По словам Дубины

similar_text: 75.5102040816% levenshtein: 47.8260869565% (17):
3393: профессора Василия Михайлова
2241: профессора Сергея Ярова

similar_text: 77.4193548387% levenshtein: 56.25% (8):
3393: по словам Луценко
2243: По словам Кучука

similar_text: 75% levenshtein: 47.619047619% (13):
3393: в том числе педофилии
2245: В том числе и из России

similar_text: 73.5294117647% levenshtein: 47.0588235294% (11):
3393: по словам Луценко
2246: По словам Тимошекно

similar_text: 70.4545454545% levenshtein: 47.619047619% (17):
3393: в том числе педофилии
2261: в том числе птичий и свиной

[свернуть]

[webpavilion]

uadmitriy, если я правильно понял задачу, то что вам нужно реализуется в достойной форме достаточно просто:

1. нормализуете текст
2. убираете стоп слова
3. проводите синонематическую нормализацию
4. строите хеш n-грамм
5. считаете пересечения хешей

Все коэффициенты нужно подбирать в зависимости от тематики сайта и тематической близости контента в целом. Есть более сложные варианты: LSA и LSI, GA, ANN но в такие дебри лучше не лезть без знаний мат.анализа на 5+

[uadmitriy]

webpavilion, спасибо!
у нас тут вопросы :)

нормализуете текст

нормализовать - убрать все лишнее, к примеру НА, У, В символы какие-то, теги и т д?

убираете стоп слова

стоп слова - что то по чему нельзя сравнивать, типа "по словам ...."? это кажется много ооочен?

проводите синонематическую нормализацию

синонимическая нормализация - возможно приведение к 1 падежу? так как если речь о учете синонимов, то хеш будет разный.

строите хеш n-грамм

ускорит поиск?

считаете пересечения хешей

совпадение слова пассажа?

[seo2z]

нормализовать - убрать все лишнее, к примеру НА, У, В символы какие-то, теги и т д?

Видать имелось в виду привести в правильный вид (знаки препинания, убрать лишние пробелы, табы и т.д.)

стоп слова - что то по чему нельзя сравнивать, типа "по словам ...."? это кажется много ооочен?

стоп-слова это как раз те, которые НА, У, В =)

синонимическая нормализация - возможно приведение к 1 падежу? так как если речь о учете синонимов, то хеш будет разный.

Тут, права, не знаю, что имел в виду Антон. Может семантическую?

[DAV]

Если хорошо дружите с Мат. Анализом и Алгеброй, то можете посмотреть что такое Латентный Семантический Анализ. Но работа по реализации этого метода будет довольно непростой, зато результат будет хорошим