首页 分享 Doris实战——拈花云科的数据中台实践

Doris实战——拈花云科的数据中台实践

来源:花匠小妙招 时间:2025-01-08 15:09

吵吵叭火 已于 2024-04-15 12:32:45 修改

于 2024-03-02 19:09:55 首次发布

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。

55 篇文章 27 订阅 ¥19.90 ¥99.00

目录

前言

一、业务背景

二、数据中台1.0—Lambda

三、新架构的设计目标

四、数据中台2.0—Apache Doris

4.1 新架构数据流转

4.2 新架构收益

五、新架构的落地实践

5.1 模型选择

5.1.1 Unique模型

5.1.2 Aggregate模型

5.2 资源管理

5.3  批量建表

5.4 计算实现

5.4.1 实时计算

5.4.2 准实时计算 

通过 Java UDF 生成增量/全量数据

基于 Doris的大表优化

Doris Borker的协同计算

联邦查询在数据分析场景下的尝试

六、运维保障

6.1 守护进程

6.2 Grafana 监控报警

七、总结收益

八、未来规划

  原文大佬的这篇Doris数仓建设案例有借鉴意义,这里摘抄下来用作学习和知识沉淀。如有侵权请告知~

前言

     拈花云科NearFar X Lab 团队调研并引进 Doris作为新架构下的数据仓库选型方案。下文主要介绍了拈花云科数据中台架构从 1.0 到 2.0 的演变过程,以及Doris在交付型项目和SaaS产品中的应用实践。

一、业务背景

   拈花云科的服务对象主要是国内各个景区、景点,业务范围涵盖文旅行业的多个板块,如票务、交通、零售、住宿、餐饮、影院、KTV、租赁等。多业务线下用户对于数据使用的时效性需求差异较大,需要能够提供实时、准实时、T+1的业务支撑能力。同时由于大部分景区为国有化的特点,也需要具备能够提供私有化交付部署及SaaS化数据中台产品解决方案的双重服务支撑能力。

相关知识

打造智慧文旅云产品矩阵 拈花云科引领文旅产业数智化转型
DORIS五月花艺课程
拈的意思,拈的解释,拈的拼音,拈的部首,拈的笔顺
拈花湾文旅:探索文旅数字化 提升游客体验
基于鸢尾花(iris)数据集的逻辑回归分类实践
【机器学习】随机森林处理数据实践(基于R语言)
明史花云传原文
Java实战项目
中台战略=微服务+服务治理+组织架构
如何防治山茶花云纹叶斑病

网址: Doris实战——拈花云科的数据中台实践 https://www.huajiangbk.com/newsview1498025.html

所属分类:花卉
上一篇: 英国知名AI公司Builder.
下一篇: 《云数据中心网络架构与技术》第四

推荐分享