Здравствуйте.
Есть база сайтов там больше 1к урлов,надо прочекать лдубли чтобы на выходе остались только не повторяющиеся сайты.