'/%3e%3cpath%20d='M83.8172%20112C100.688%20112%20111.886%2098.2694%20112%2083.8882H44.0245C25.8409%2083.8882%2016.001%2094.3169%2016.001%20112H83.8172Z'%20fill='url(%23paint1_linear_101_577)'/%3e%3cpath%20d='M44.1725%2044.1138H16.0008C15.9465%2051.0963%2018.504%2058.2306%2024.2977%2064.0225L44.1706%2083.8881L52.8986%2075.3569L61.7636%2066.7019C63.2767%2065.2244%2063.2786%2062.7888%2061.7636%2061.3094L44.1725%2044.1138Z'%20fill='%233A5FFF'/%3e%3cpath%20d='M83.8248%2083.8862H111.996C112.051%2076.9037%20109.493%2069.7693%20103.7%2063.9774L83.8267%2044.1118L75.0986%2052.6431L66.2337%2061.2981C64.7206%2062.7756%2064.7187%2065.2112%2066.2337%2066.6906L83.8248%2083.8862Z'%20fill='%233A5FFF'/%3e%3cdefs%3e%3clinearGradient%20id='paint0_linear_101_577'%20x1='16.001'%20y1='30.055'%20x2='111.998'%20y2='30.055'%20gradientUnits='userSpaceOnUse'%3e%3cstop%20stop-color='%2370ADFE'/%3e%3cstop%20offset='0.62'%20stop-color='%233A5FFF'/%3e%3c/linearGradient%3e%3clinearGradient%20id='paint1_linear_101_577'%20x1='111.998'%20y1='97.9451'%20x2='16.001'%20y2='97.9451'%20gradientUnits='userSpaceOnUse'%3e%3cstop%20stop-color='%2370ADFE'/%3e%3cstop%20offset='0.62'%20stop-color='%233A5FFF'/%3e%3c/linearGradient%3e%3c/defs%3e%3c/svg%3e)
Концепция озера данных появилась как ответ на ограничения классических хранилищ, для которых схему данных нужно придумывать заранее. В озеро сначала кладут всё как есть, а уже потом решают, что и как анализировать.
Что обычно хранится
- Сырые события из продукта в формате JSON.
- Журналы работы систем и снимки баз данных.
- Выгрузки из внешних систем без обработки.
- Файлы для ML: изображения, аудио, видео, тексты.
Современная архитектура
- Сами файлы лежат в дешёвом облачном хранилище: S3, GCS, Yandex Object Storage.
- Поверх них — открытые форматы (Parquet, ORC) и слой метаданных (Apache Iceberg, Delta Lake).
- Аналитические движки (Athena, Presto, Trino, Spark) умеют запрашивать данные прямо из озера.
- Такую связку называют озером-хранилищем, по-английски lakehouse: гибрид озера и классического хранилища.
- Много разнородных данных, в том числе неструктурированных
- Хочется сохранять историю в исходном виде «на всякий случай»
- Нужны и аналитика, и ML на одних и тех же данных
- Маленький проект с парой источников — достаточно одного хранилища, отдельное озеро строить незачем
Финтех-компания собирает события из мобильного приложения, банкоматов, веб-кабинета и партнёрских каналов. Все сырые события через Kafka попадают в озеро данных на S3 в формате Parquet. На основе озера живут и витрины в хранилище для BI, и наборы признаков для ML-моделей. Если возникает новый аналитический вопрос, который не покрыт текущими витринами, аналитик идёт прямо в озеро и собирает нужную выборку, не переделывая исходный конвейер загрузки.
Озеро очень быстро превращается в болото, если в нём нет каталога данных и владельцев. Прежде чем сгружать туда сырьё со всей компании, продумайте: кто отвечает за каждый источник, как описаны схемы и кто чистит устаревшее. Описания источников и ответственных удобно держать в базе знаний Shtab, а доступ к разделам разграничивать правами и ролями. Без этого через год озеро станет непригодным для работы.