云原生视角下,新一代数据平台架构怎么演进?

程序IT圈

共 1164字,需浏览 3分钟

 ·

2021-06-02 20:37

过去的 20 年里,大数据 & AI 系统的技术架构演进由三方面推动:海量数据分析需求、开放开源的技术进步、以云为代表的软硬件基础设施升级。


云原生驱动下,新一代数据平台的架构迭代方向指向何方?业界数据湖与数据仓库的争论由来已久,数据湖的灵活性与数仓的管理能力成为大数据架构设计的“鱼”和“熊掌”,想要二者兼得是否可行?

 

2020 年,AWS、Databricks、阿里云同时提出“湖仓一体”概念,这一两者融合演进的新方向让业界耳目一新。

 

尽管有相同的目标,各个公司的演进路线却不尽相同,主要分为两种,一为湖仓融合,以 AWS 和阿里云的 MaxCompute 为代表,二为上下层结构,以 Databricks 的 Lakehouse 为代表。

 

那么“湖仓一体”能否真正落地?这些实践者具体的路径是怎样的?分别适用于什么样的场景?MaxCompute 实际表现如何?Databricks 的 Photon Engine 是否能够真正实现一个 Engine 解决所有问题?

 

将于 7 月 23-24 日在深圳举办的 ArchSummit 全球架构师峰会邀请到阿里云计算平台事业部研究员,阿里巴巴通用计算平台负责人关涛(观滔)担任出品人,邀请 Databricks 等公司的一线专家同台分享,试从“云原生”的视角,探讨新一代数据平台的架构迭代方向。包括但不限于湖仓一体落地实践、统一数据存储(HDFS、OSS 等技术演进)、Caching 层(Alluxio/JindoFS 为代表)、统一资源管理的挑战 (K8s 支持大数据计算的不足、混部技术)、统一元数据中心的技术演进、存算分离以及分布式内存池等等。

观滔还将围绕“大数据架构的演进”这一主题贡献一个主题演讲,内容正在紧张打磨中,对大数据感兴趣的同学不可错过。

 

目前该专题下已上线议题如下,更多内容正在持续打磨中,关注大会官网可获取最新进展。


 

除了【应云而生的新一代数据架构】专题,ArchSummit 深圳 2021 还有高可用高性能业务架构、下一代云原生技术体系、低代码 / 无代码、国际化运维架构、架构师经验传递、内容分发场景的系统架构实践等热门专题,快到现场与上百位大咖 1v1 交流,来一场技术深潜吧。

 

大会入场券 9 折优惠中,组团学习更多福利。有兴趣的同学可直接联系票务小姐姐:18514549229(同微信)


戳👇【阅读原文】了解更多大会内容

浏览 17
点赞
评论
收藏
分享

手机扫一扫分享

举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

举报