TDMQ CKafka 版弹性存储能力重磅上线!

腾讯云中间件

共 4474字,需浏览 9分钟

 ·

2024-05-17 11:59


导语

自 2024年5月起,TDMQ CKafka 专业版支持弹性存储能力,这种产品形态下,存储可按需使用、按量付费,一方面降低消费即删除、存储使用波动大场景下的存储成本,另一方面存储空间理论上无穷大。


TDMQ CKafka 版产品能力介绍


腾讯云 TDMQ CKafka 版是一个分布式、高吞吐量、高可扩展性的消息系统,100%兼容开源 Kafka API 2.4、2.8、3.2 版本。基于发布/订阅模式,通过消息解耦,使生产者和消费者异步交互,无需彼此等待。TDMQ CKafka 版具有高可用、数据压缩、同时支持离线和实时数据处理等优点,适用于日志压缩收集、监控数据聚合、流式数据集成等场景。


为什么要做弹性存储?


随着技术的发展,Serverless 的技术形态和使用姿势,为用户带来了技术和成本二者兼得的益处。一方面,通过商业化 PaaS 产品的技术实力,设计系统架构。另一方面,计费模式从购买固定规格改变为弹性按量付费,使得客户的存储按照实际的使用量进行计费,且存储支持弹性扩容,帮助客户有效提升资源利用率并降低业务成本。

比如,某客户在购买集群时,需要指定最小集群存储 200G,但业务初期,实际使用率不到10%,而后期随着业务的上量,在不改动规格的基础上,又要不断给存储扩容。


故而,TDMQ CKafka 专业版推出 弹性存储 形态。一方面降低消费即删除、存储使用波动大场景下的存储成本,另一方面存储空间理论上无穷大。


技术方案


专业版的弹性存储形态,基于「本地存储 + 远程存储」相结合的方式实现。即采用分级存储方案,本地会有少量的云盘热数据,远程存储有大量的冷数据。


本地存储


  • 本地存储服务写流量/Tail-Read 读,提供与原生 Kafka 一致的延时、可用性和一致性。


  • 远程存储故障或者性能衰退,本地存储支持弹性扩容提供读写服务。


远程存储


生产流程

生产的主体流程和原生 Kafka 类似,写入到云盘的数据会异步同步到远端存储 COS。

消费流程

消费的流程也是类似的,会根据用户 Consumer 的 Offset来做一个比较,如果是在本地存储,那么就本地存储优先返回。如果本地存储没有,那就从远端存储里面去实时读取,或者说根据不同的读取策略有不同的读取下载策略,进行消息读取的消费。

更加详细的数据生命周期管理、Offset 约束、Segment 状态机、分级存储架构等,请参考《Kafka 分级存储在腾讯云的实践与演进


弹性存储售卖方式


按照消息存储所占用的存储空间大小和存储时长计费。


  • 计费方式:按量计费(后付费),计量单位为 “XX 元/GB/小时”。


  • 计费粒度:小时,不足1小时按1小时计算。按1小时内使用的磁盘容量的最大值计费。


存储费用 = 消息存储大小 × 存储单价 × 时长。


不同的地域价格不同,具体单价请参考实际售卖页价格:

https://buy.cloud.tencent.com/ckafka?rid=1&payMode=1&typeClass=profession


使用说明


当前功能还是在白名单状态,如需使用请联系我们或售后架构师。

提单地址:

https://cloud.tencent.com/online-service


使用限制


  • 引擎版本:当前仅在专业版 Kafka 2.8.1 引擎版本下支持弹性存储。

  • 地域:当前仅在北京、上海、广州、新加坡、香港地域下,支持该形态。


购买方式


  1. 控制台购买集群时:

  2. 规格类型,选择专业版;

  3. 存储类型,选择弹性存储;

  4. 确定其他选项后,发起创建即可。


往期

推荐


可观测新能力:TDMQ Pulsar 支持接入 Prometheus 监控

《Pulsar 产品新形态:弹性存储能力全新上线!

《云原生消息流系统 Apache RocketMQ 在腾讯云的大规模生产实践》

《云原生 API 网关链路追踪能力重磅上线

Kafka 分级存储在腾讯云的实践与演进

Apache RocketMQ 5.0 腾讯云落地实践

RocketMQ 5.X PopAck 源码拆解




扫描下方二维码关注本公众号,

了解更多微服务、消息队列的相关信息!

解锁超多鹅厂周边!

戳原文,查看更多 TDMQ CKafka 版的信息!

点个在看你最好看


浏览 23
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报