Какой оркестратор выбрать?

Самый известный — Apache Airflow, его выбирают по умолчанию. Современные альтернативы — Dagster и Prefect: у них удобнее работа с зависимостями данных и с тестированием. Для маленьких задач подойдёт даже планировщик cron, но при росте сложности он быстро становится узким местом: нет истории запусков, нет удобных перезапусков и связей между задачами.

Аналитика и данныеИнфраструктура данных

Пайплайн данных

Последовательность шагов, по которой данные двигаются от источника до конечного потребителя — отчёта, модели или системы.

КРАТКО

Пайплайн данных — это «производственная линия» для цифр. Один пайплайн забирает заказы из биллинга, очищает их, считает выручку по сегментам и кладёт в витрину аналитики. Другой собирает события мобильного приложения, сводит их в дневные метрики и отдаёт в отчётность и в ML-модель. Хорошие пайплайны работают регулярно и предсказуемо, плохие — ломаются ночью и оставляют команду без свежих данных утром.

СИНОНИМЫ:пайплайн данныхконвейер данныхпоток данныхdata pipeline

Пайплайн обычно описывают как граф зависимостей: задачи, которые выполняются в определённом порядке. У каждой задачи есть свой код, входные и выходные таблицы, расписание и сигналы об ошибках.

Из чего состоит

Источник данных: продуктовая база, файлы, API.
Шаги извлечения, преобразования и загрузки.
Оркестратор (Airflow, Dagster, Prefect и подобные), который запускает задачи по расписанию.
Мониторинг и оповещения, чтобы команда узнала о поломках раньше пользователей.

Что важно

Идемпотентность: повторный запуск шага не должен дублировать данные и портить картину.
Контроль качества: проверки на пустые значения, дубликаты, расхождения с источниками.
Документация: какие таблицы что значат, кто за них отвечает, как часто обновляются.

КОГДА ПРИМЕНЯТЬ

Регулярные процессы перемещения данных между системами
Аналитика, машинное обучение и отчётность опираются на свежие данные
Расчётов становится слишком много, чтобы делать их вручную

КОГДА НЕ СТОИТ

Маленькие разовые задачи — для них достаточно одного SQL-запроса или скрипта

ПРИМЕР

Раньше команда собирала маркетинговый отчёт вручную: выгружала траты из рекламных кабинетов, склеивала в Excel, добавляла выручку из биллинга и присылала по почте. С запуском пайплайна на Airflow всё это делает оркестратор: каждое утро в 6:00 данные обновляются, дашборд показывает свежие цифры, а команда уже к 9:00 видит окупаемость рекламы (ROAS) по каналам за вчерашний день. Если что-то ломается, в Slack приходит автоматическое уведомление.

КАК ИСПОЛЬЗОВАТЬ В SHTAB

Перед запуском нового пайплайна спросите себя: что произойдёт, если он сломается в три часа ночи? Если ответ «мы узнаем об этом от руководителя в обед», добавьте мониторинг и оповещения раньше, чем пайплайн начнёт работать на боевых данных.

Попробовать бесплатно

Вопросы про «Пайплайн данных»

ETL — конкретный вид пайплайна: извлечение, преобразование, загрузка. Пайплайн — более общее понятие: внутри него могут быть и ETL, и ELT, и обработка потоков событий, и подготовка признаков для моделей машинного обучения. Любой ETL — это пайплайн, но не каждый пайплайн — ETL. На практике команды часто называют пайплайном любой регулярный процесс переноса и подготовки данных.

Ещё из «Аналитика и данные»

Вся категория →

ARPU и ARPPU (средняя выручка на пользователя)

ARPU — средняя выручка на пользователя. ARPPU — средняя выручка на платящего пользователя.

Business Intelligence (бизнес-аналитика)

Совокупность процессов и инструментов сбора, хранения и визуализации данных для принятия деловых решений.

DAU, WAU, MAU (активная аудитория за день, неделю и месяц)

Количество уникальных активных пользователей за день, неделю и месяц соответственно.

Применяйте термины на практике

База знаний, задачи и цели — в одном сервисе. Бесплатно — без лимита по числу людей.

Попробовать бесплатно Все термины