目录
前言
一、业务背景
二、数据中台1.0—Lambda
三、新架构的设计目标
四、数据中台2.0—Apache Doris
4.1 新架构数据流转
4.2 新架构收益
五、新架构的落地实践
5.1 模型选择
5.1.1 Unique模型
5.1.2 Aggregate模型
5.2 资源管理
5.3 批量建表
5.4 计算实现
5.4.1 实时计算
5.4.2 准实时计算
通过 Java UDF 生成增量/全量数据
基于 Doris的大表优化
Doris Borker的协同计算
联邦查询在数据分析场景下的尝试
六、运维保障
6.1 守护进程
6.2 Grafana 监控报警
七、总结收益
八、未来规划
原文大佬的这篇Doris数仓建设案例有借鉴意义,这里摘抄下来用作学习和知识沉淀。如有侵权请告知~
前言
拈花云科NearFar X Lab 团队调研并引进 Doris作为新架构下的数据仓库选型方案。下文主要介绍了拈花云科数据中台架构从 1.0 到 2.0 的演变过程,以及Doris在交付型项目和SaaS产品中的应用实践。
一、业务背景
拈花云科的服务对象主要是国内各个景区、景点,业务范围涵盖文旅行业的多个板块,如票务、交通、零售、住宿、餐饮、影院、KTV、租赁等。多业务线下用户对于数据使用的时效性需求差异较大,需要能够提供实时、准实时、T+1的业务支撑能力。同时由于大部分景区为国有化的特点,也需要具备能够提供私有化交付部署及SaaS化数据中台产品解决方案的双重服务支撑能力。