Как было раньше?
В сервисе есть инструмент для сбора ссылок на телеграмы из свежих постов в поиске ВК. Размеры сбора ограничены лимитами ВК, а также особенностями самого поиска ВК — обычно за 1 поиск собирается максимум несколько сотен ссылок на чаты. Зачастую этого мало.
Что придумано для решения этой проблемы?
Была собрана и проверена огромная база телеграм-ссылок по самым разным темам, отфильтрованных на валидность.
Все записи получены из поиска по постам ВКонтакте за большой промежуток времени и за большое число поисков. После чего все найденные ссылки проверены нашим собственным чекером, разбиты по типам (профили, группы/чаты, каналы, чат-боты), к ним подгружены названия, описания и число участников на момент проверки. В базе около 144 тысяч валидных записей. По ним подготовлен очень быстрый поиск и выгрузка по фильтрам.
Почему качество расширенного поиска выше обычного поиска из постов?
* Валидные ссылки на телеграмы — после сбора этой огромной базы каждая ссылка была проверена на валидность нашим собственным чекером, невалидные были убраны
* Более крупные чаты — если в поиске по постам чаще рекламируют мелкие чаты, то тут вы сами регулируете число участников при сборе
* Дополнительные фильтры — при поиске можно выбирать тип записей, число подписчиков и наличие/отсутствие галки верификации
* Подробные данные — в выгрузке будет целая таблица со ссылкой, типом, названием, описанием, числом подписчиков. Не просто ссылка без понимания, что это и о чём
Это самая полная база всех телеграмов? Нет, конечно — скорее всего, можно собрать базу и побольше, используя другие источники. Но с телеграмами из источника поиска по ВК тут собрано если не всё, что можно было найти, то большая часть. И всё это проверено и очищено от мусорных и битых ссылок, которых очень много. Использовать данные из собранной базы можно для проведения аналитики, сбора статистики и т.д.
~13 000 чатов (групп)
~13 000 личных профилей
~110 000 каналов
~6 500 чат-ботов
Из них по чатам (группам):
Чатов (групп) от 10 участников: ~11 000
Чатов (групп) от 100 участников: ~8 000
Чатов (групп) от 200 участников: ~6 500
Чатов (групп) от 500 участников: ~4 700
Чатов (групп) от 1000 участников: ~3 250
Чатов (групп) от 5000 участников: ~900
Из них по каналам:
Каналов от 10 подписчиков: ~103 000
Каналов от 100 подписчиков: ~64 000
Каналов от 200 подписчиков: ~36 000
Каналов от 500 подписчиков: ~28 400
Каналов от 1000 подписчиков: ~13 300
Каналов от 5000 подписчиков: ~8 900
Текущая версия базы телеграмов собрана в конце 2023 года, следующее плановое обновление — начало 2024. А ещё у нас есть большая база чатов ВК (более 231 000 чатов) и большая база whatsapp-ов (более 27 000 чатов/групп).