Собирая свою базу пользователей с помощью тех или иных парсеров (специальных инструментов) ВКонтакте, вы можете оказаться перед необходимостью соединить эти списки данных ВКонтакте в один, в том числе и очистив от дублей.
Начните работать с вашими списками ВКонтакте, очищая их от повторов, пройдя по ссылке ниже.
Загружайте ваши списки ВК в поисковое окно (в том числе, можете сделать это файлами).
Запуская парсер в работу, вы получите итоговый отчет, в котором ваши списки будут соединены в один, и в нем не будет повторов одних и тех же участников ВКонтакте.