Hudi 集成 | AWS升级对Apache Hudi的集成
共 922字，需浏览 2分钟
·
2021-07-30 21:54
H
全球最大云厂商AWS的 Athena 团队又更新了 Athena 与 Apache Hudi[1] 的集成，以支持新功能及最新的 0.8.0 社区版本。早在Apache Hudi还处于孵化阶段时，AWS Athena 便集成了 Hudi 以支持广大客户在S3上变更数据的需求，随着Hudi被全球各大云厂商集成，Hudi作为云上数据湖解决方案的热度持续升温，其价值也得到了全球广大用户的认可。
Hudi 是一种开源数据管理框架，可以用于简化 S3 数据湖中的增量数据处理和数据管道开发工作。欢迎扫描二维码给 Hudi 送 Star & Fork
现在能够使用 Athena 查询通过 Amazon EMR、Apache Spark、Apache Hive 或其他兼容服务管理的 Hudi 0.8.0 表，并且现在支持快照查询和读取引导表，这意味着可以通过 Athena 实时查询 MOR 类型表中的 log 日志文件，以及将 Parquet 表原地转化成的Hudi表（无需复制数据）。
Apache Hudi 提供记录级数据处理，可帮助您简化变更数据捕获（CDC）管道的开发，遵守欧盟《一般数据保护条例（GDPR）》驱动的更新和删除，并更好地管理来自需要数据插入和事件更新的传感器或设备的串流数据。0.8.0 版本可以更轻松地将大型 Parquet 表迁移到Hudi（而无需复制数据），以便通过 Athena 对其进行查询和分析。此外借助 Athena 全新推出的对快照查询的支持，现在可以近乎实时地查看对表的更新。
推荐阅读
恭喜！Apache Hudi社区新晋多名顶级互联网公司Committer