[se_home]

Есть список ключевых слов. Среди них есть дубликаты (полные совпадения строк).

Нужно найти те строки у которых есть дубликаты и вывести их отдельным списком. В идеале, чтобы еще было указано сколько раз данное ключевое слово встречается в основном списке.

Сами по себе дубликаты удалить не проблема, проблема их посчитать.

Как бы вы решили такую задачу?

[Pirat]

Отсортируй в екселе и посчитай выделением

[se_home]

Pirat, а можно подробней? Я так понял, отсортировать по алфавиту в экселе? И как посчитать выделением? Вручную не подходит, ключевых слов сотни тысяч.

[OKyJIucT]

se_home, в экселе есть опция - удалить дубликаты

Скрытый текст (вы должны зарегистрироваться или войти под своим логином):

У вас нет прав чтобы видеть скрытый текст, содержащийся здесь.

У меня 2013 версия, но во всех предыдущих тоже есть во вкладке "Данные"

[se_home]

OKyJIucT, интересная возможность экселя, не знал. Но все таки требуется другое. Нужно не удалить, а наоборот вывести ТОЛЬКО дубликаты, и желательно самые популярные дубликаты вверху списка, т.е. посчитать сколько раз дубликаты встречаются в изначальном списке.

[treeclimber]

se_home,

Нужно найти те строки у которых есть дубликаты и вывести их отдельным списком. В идеале, чтобы еще было указано сколько раз данное ключевое слово встречается в основном списке.

1. Залить строки в таблицу базы данных.
А затем запросом
select count(*),text from text_table
group by text
можно будет подсчитать дубли и " вывести их отдельным списком"
2. поискать в инете скрипт - который считает дубли в текстовом файле

у меня есть такой скрипт - но он несколько иным занимается - он чистить исходный файл от дублей.
Т.е. ему на вход - файл с дублями . А на выходе получаем два файла - с кникальным текстом и файл дублей.

[se_home]

treeclimber, скриптов или программ именно под такую задачу как-то не нашлось с ходу.

Пока самый простой вариант такой придумал:
В Экселе: Условное форматирование => Создать правило => Форматировать только уникальные или повторяющиеся значения

Не считает, зато выделяет. Хотя бы так. Отсортировать по алфавиту и получается более-менее нужное.

[treeclimber]

se_home,
Да Эксель мощщная программа. Если ее знаешь и тем паче знаешь VBA - то можно с ним чудеса творить.
А я вот как-то по старенькому - через SQL такие задачи решаю.

[kik11]

se_home, пишите в пм, напишем вам решение.
Если вы программист - то я бы на Java решил с помощью HashMap - ключ - словосочетание, значение - количество раз, которое оно встречается.

[Outlook.by]

есть специальные плагины для антидублей, например на опенкарте часто использую.