Работая с данными ВКонтакте, применяйте парсеры (специальные инструменты) нашего Сервиса Барков.нет.
Убрать из списка ВКонтакте дубликаты вы сможете, пройдя по ссылке ниже.
Укажите в поле поиска все данные, с которыми нужно работать, в том числе можно сделать это, подгружая данные файлами.
Парсер обработает указанную информацию, исключив повторы, а данные склеит в единый массив.