云原生视角下,新一代数据平台架构怎么演进?程序IT圈关注共 1164字,需浏览 3分钟 ·2021-06-02 20:37 过去的 20 年里,大数据 & AI 系统的技术架构演进由三方面推动:海量数据分析需求、开放开源的技术进步、以云为代表的软硬件基础设施升级。云原生驱动下,新一代数据平台的架构迭代方向指向何方?业界数据湖与数据仓库的争论由来已久,数据湖的灵活性与数仓的管理能力成为大数据架构设计的“鱼”和“熊掌”,想要二者兼得是否可行? 2020 年,AWS、Databricks、阿里云同时提出“湖仓一体”概念,这一两者融合演进的新方向让业界耳目一新。 尽管有相同的目标,各个公司的演进路线却不尽相同,主要分为两种,一为湖仓融合,以 AWS 和阿里云的 MaxCompute 为代表,二为上下层结构,以 Databricks 的 Lakehouse 为代表。 那么“湖仓一体”能否真正落地?这些实践者具体的路径是怎样的?分别适用于什么样的场景?MaxCompute 实际表现如何?Databricks 的 Photon Engine 是否能够真正实现一个 Engine 解决所有问题? 将于 7 月 23-24 日在深圳举办的 ArchSummit 全球架构师峰会邀请到阿里云计算平台事业部研究员,阿里巴巴通用计算平台负责人关涛(观滔)担任出品人,邀请 Databricks 等公司的一线专家同台分享,试从“云原生”的视角,探讨新一代数据平台的架构迭代方向。包括但不限于湖仓一体落地实践、统一数据存储(HDFS、OSS 等技术演进)、Caching 层(Alluxio/JindoFS 为代表)、统一资源管理的挑战 (K8s 支持大数据计算的不足、混部技术)、统一元数据中心的技术演进、存算分离以及分布式内存池等等。观滔还将围绕“大数据架构的演进”这一主题贡献一个主题演讲,内容正在紧张打磨中,对大数据感兴趣的同学不可错过。 目前该专题下已上线议题如下,更多内容正在持续打磨中,关注大会官网可获取最新进展。 除了【应云而生的新一代数据架构】专题,ArchSummit 深圳 2021 还有高可用高性能业务架构、下一代云原生技术体系、低代码 / 无代码、国际化运维架构、架构师经验传递、内容分发场景的系统架构实践等热门专题,快到现场与上百位大咖 1v1 交流,来一场技术深潜吧。 大会入场券 9 折优惠中,组团学习更多福利。有兴趣的同学可直接联系票务小姐姐:18514549229(同微信)戳👇【阅读原文】了解更多大会内容 浏览 20点赞 评论 收藏 分享 手机扫一扫分享分享 举报 评论图片表情视频评价全部评论推荐 揭秘云原生时代下的新一代数据计算基础设施如今,伴随着数字化转型脚步的加快,企业需要具备更加先进的数据处理能力才能满足业务需求,而云原生大数据作为大数据平台新一代架构和运行形态,正逐渐成为企业数字化转型的必备工具。那么,究竟什么是云原生大数据...CloudEon云原生大数据平台CloudEon是一款基于kubernetes的开源大数据平台,简化k8s上大数据集群的运维管理,旨CloudEon云原生大数据平台CloudEon是一款基于kubernetes的开源大数据平台,简化k8s上大数据集群的运维管理,旨在为用户提供一种简单、高效、可扩展的大数据解决方案。该平台致力于简化多种大数据服务在kubernet贝壳数据平台的演进数据管道0滴滴出行平台业务架构演进服务端思维0Zoom - 基础架构 - 云平台开发工程师 | 云原生招聘k8s技术圈0云原生架构下的持续交付实践服务端思维0Fluid-Cloudnative云原生大数据应用支撑平台为了解决大数据、AI 等数据密集型应用在云原生计算存储分离场景下,存在的数据访问延时高、联合分析难、Fluid-Cloudnative云原生大数据应用支撑平台为了解决大数据、AI等数据密集型应用在云原生计算存储分离场景下,存在的数据访问延时高、联合分析难、多维管理杂等痛点问题,南京大学PASALab、阿里巴巴、Alluxio在2020年 9月份联合发起了开演进式架构本书由IT行业领导企业ThoughtWorks的CTO和架构专家联合执笔,详尽介绍了演进式架构的必要点赞 评论 收藏 分享 手机扫一扫分享分享 举报