Doris实战——拈花云科的数据中台实践

吵吵叭火 已于 2024-04-15 12:32:45 修改
于 2024-03-02 19:09:55 首次发布
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
55 篇文章 27 订阅 ¥19.90 ¥99.00
目录
前言
一、业务背景
二、数据中台1.0—Lambda
三、新架构的设计目标
四、数据中台2.0—Apache Doris
4.1 新架构数据流转
4.2 新架构收益
五、新架构的落地实践
5.1 模型选择
5.1.1 Unique模型
5.1.2 Aggregate模型
5.2 资源管理
5.3 批量建表
5.4 计算实现
5.4.1 实时计算
5.4.2 准实时计算
通过 Java UDF 生成增量/全量数据
基于 Doris的大表优化
Doris Borker的协同计算
联邦查询在数据分析场景下的尝试
六、运维保障
6.1 守护进程
6.2 Grafana 监控报警
七、总结收益
八、未来规划
原文大佬的这篇Doris数仓建设案例有借鉴意义,这里摘抄下来用作学习和知识沉淀。如有侵权请告知~
前言
拈花云科NearFar X Lab 团队调研并引进 Doris作为新架构下的数据仓库选型方案。下文主要介绍了拈花云科数据中台架构从 1.0 到 2.0 的演变过程,以及Doris在交付型项目和SaaS产品中的应用实践。
一、业务背景
拈花云科的服务对象主要是国内各个景区、景点,业务范围涵盖文旅行业的多个板块,如票务、交通、零售、住宿、餐饮、影院、KTV、租赁等。多业务线下用户对于数据使用的时效性需求差异较大,需要能够提供实时、准实时、T+1的业务支撑能力。同时由于大部分景区为国有化的特点,也需要具备能够提供私有化交付部署及SaaS化数据中台产品解决方案的双重服务支撑能力。
相关知识
打造智慧文旅云产品矩阵 拈花云科引领文旅产业数智化转型
DORIS五月花艺课程
拈的意思,拈的解释,拈的拼音,拈的部首,拈的笔顺
拈花湾文旅:探索文旅数字化 提升游客体验
基于鸢尾花(iris)数据集的逻辑回归分类实践
【机器学习】随机森林处理数据实践(基于R语言)
明史花云传原文
Java实战项目
中台战略=微服务+服务治理+组织架构
如何防治山茶花云纹叶斑病
原文链接: Doris实战——拈花云科的数据中台实践 https://m.huajiangbk.com/newsview1498025.html
| 上一篇: 英国知名AI公司Builder.... | 下一篇: 《云数据中心网络架构与技术》第四... |



