Система сбора статистики распределенной сети Mainline DHT, обеспечивающей безтрекерную работу bittorrent.
Позволяет собирать следующие данные:
- Аннонсы загрузок торрентов (сообщения bt-клиентов о том, что они начинают загрузку определенного торрента, позволяет собирать данные о том, с каких ip происходит загрузка торрентов)
- Страны из которых происходит загрузка
- Названия торрентов, списки файлов, типы торрентов (аудио, видео, текст, итд)
- magnet-ссылки и .torrent-файлы
Сборщик аннонсов написан на CoffeeScript, веб-часть и сборка информации о торренте - на Ruby, кеш - Redis, он же - основное хранилище.
Практические применения:
- Построение рейтингов по определенным параметрам (страна, тип, количество загрузок, итд)
- Почти бесплатный мониторинг более 700000 аннонсов/сутки (в данный момент все это работает на 350-рублевом vps с 2 гб оперативной памяти и обрабатывает более 500 аннонсов/минута)
- Снижение количества внешнего трафика у интернет-провайдеров путем создания внутреннего кеша