Насколько рискована разработка
AdTech или Big Data проектов?
Начинать "с нуля" необязательно!
После нескольких лет разработки проектов в сфере AdTech & Big data мы научились снижать проектные риски. В результате нескольких тысяч часов исследований, встреч с клиентами и разработки мы создали Project Starter Kit.

Продукт включает несколько модулей, которые могут быть использованы для быстрого запуска проектов с минимальными рисками. Мы разработали эти модули на основе нашего опыта решения реальных бизнес-задач. Мы использовали лучший мировой опыт в разработке программного обеспечения и управления проектами.

Модуль обычно включает шаблон описания бизнес-процесса и шаблон архитектуры приложения. Для наших модулей мы также отобрали оптимальные технологии и проверенные open source библиотеки. В модули также вошли наши собственные библиотеки и скрипты.

Приведем несколько примеров модулей, которые входят в коробочное решение.

Хранение бизнес данных, контроль и мониторинг

Как и прочие модули, этот включает в себя набор компонентов из исходного кода и документации:
  • шаблон Java сервера на Spring Boot или микро сервисах;
  • REST API с документацией в Swagger;
  • база данных для бизнеса на основе MySQL или Postgres, с настройками резервного копирования;
  • шаблон для веб-приложений на React;
  • опционально – шаблоны для десктопных и мобильных приложений (приложения для веба/десктопа/мобильных устройств могут использовать до 90% общего кода).
Высокопроизводительные сервисы

В Big Data проектах очень важной частью архитектуры являются конечные точки для внешних событий, таких как показы рекламы, клики или отзывы.
Ключевым фактором в этой сфере является корректность конечных данных и стоимость их получения. Представьте систему, обрабатывающую пол миллиона запросов в секунду. При таких объемах потеря статистики для владельца системы может быть критической.
Мы используем систему управления потоками данных Apache Kafka, чтобы обеспечить стабильную работу приложений.

Иногда нужно “перемотать” и заново проанализировать данные за предыдущий период

Это может быть предыдущий день или даже месяц и случается по разным причинам: отказ оборудования, программная ошибка, “падение” базы данных (да, такое случается).
Сервис S3 и подобные решения позволяют осуществить резервное копирование и делают возможным возврат к предыдущим периодами.

Агрегирование и обработка данных

Мы заранее позаботились о хранении данных и об их агрегировании, и здесь предусмотрено несколько опций. Выбор зависит от объема данных, количества событий в день и структуры данных.

Машинное обучение

В зависимости от специфики проекта мы используем разные методы анализа данных с помощью алгоритмов машинного обучения, как в режиме реального времени, так и в постфактум.

В Project Starter Kit мы учли наиболее распространенные кейсы и бизнес-задачи. Использование такого подхода позволяет сэкономить на разработке до 30% бюджета по сравнению с проектами, разрабатываемыми “с нуля”.