腾讯自研的分布式高性能KV存储开源了！
共 1817字，需浏览 4分钟
·
2021-01-09 19:28
项目简介
Tendis是腾讯互娱CROS DBA团队 & 腾讯云数据库团队自主设计和研发的分布式高性能KV存储数据库，兼容Redis核心数据结构与接口。
可提供大容量、低成本、强持久化的数据库能力，适用于兼容Redis协议、需要大容量且较高访问性能的温冷数据存储场景。
Tendis目前已经被应用到腾讯内、外部大型项目中。
集群架构
Tendis使用去中心化集群架构，每个数据节点都拥有全部的路由信息，用户可以访问集群中的任意节点，并且通过redis的move协议，最终路由到正确的节点。
每个Tendis节点维护各自的slot数据，任意两个master节点之间的slot不重复，master节点之间支持基于slot的数据搬迁，主备节点之间通过binlog实现数据复制。
所有节点之间通过gossip协议进行通讯，类似于redis cluster的分布式实现，所有节点通过gossip协议通讯，可指定hashtag来控制数据分布和访问，使用和运维成本极低。
适用场景
兼容Redis协议，需要大容量且较高访问性能的温冷数据存储场景 适合成本为主要考虑因素，业务数据有高持久化要求的业务场景 解决原生Redis固有的fork问题而预留部分内存问题
主要特性
兼容Redis协议
完全兼容redis协议，支持redis主要数据结构和接口，兼容大部分原生Redis命令。
持久化存储
使用rocksdb作为存储引擎，所有数据以特定格式存储在rocksdb中，最大支持PB级存储。
去中心化架构
类似于redis cluster的分布式实现，所有节点通过gossip协议通讯，可指定hashtag来控制数据分布和访问，使用和运维成本极低。
水平扩展
集群支持增删节点，并且数据可以按照slot在任意两节点之间迁移，扩容和缩容过程中对应用运维人员透明，支持扩展至1000个节点。
故障自动切换
自动检测故障节点，当故障发生后，slave会自动提升为master继续对外提供服务。
Tendis冷热混合存储关键组件
得益于Tendis存版的设计和内部优化，Redis和Tendis存储版可以一起工作成为Tendis冷热混合存储。混合存储区非常适用于KV存储场景，并平衡了性能和成本。对于redis占用大量存储空间的冷数据降冷后可以最多减少80%的成本，同时保证了热数据在redis的访问性能。
Tendis 存储版 vs Redis cluster
优点：
所有数据存储到磁盘，提供更大的容量和更低的成本，数据可靠性更高
多线程架构，单进程的性能吞吐比redis单进程更高（30wQPS vs 13wQPS）
独立的gossip网络线程，支持更多的节点通讯，支持更大规模的集群
更强大的数据搬迁能力，原redis cluster的搬key实现，如果遇到大key，会导致比较恶劣的全局阻塞
基于rocksdb的镜像和完善的binlog实现，支持任意时间点的回档，社区版redis暂无这个能力
支持增量复制及复制断开断点续传，redis复制断开需要全量复制
缺点：
对比纯内存的redis，
Tendis存储版的延时更大部分命令还不支持（LUA, pubsub, geo等），正在完善中
对于单key更新，由于
Tendis存储版内部并发控制，无法发挥多线程的优势，会退化为单线程，性能较低
项目规划
持续完善对Redis的兼容性，包括支持LUA等命令 进一步提升Tendis的性能，减少rocksdb本身的性能抖动问题。 探索更多软硬结合方案，基于新硬件特性，发挥更大的数据库性能。 支持异构数据互通能力，降低异构数据库的迁移成本 运维管理能力全面提升，PaaS能力持续增强
Tendis目前已在腾讯内外部包括游戏、视频、社交、电商等多个行业提供数据库支撑。感兴趣的童鞋可以去GitHub详细了解一下：
https://github.com/Tencent/Tendis
推荐👍： Github掘金计划：Github上的一些优质项目搜罗
推荐👍：啪地一下，很快啊！已经 一年了！
我是Guide哥，Java后端开发，拥抱开源，喜欢烹饪，自由的少年。一个喜欢读者面试经验的技术人。我们下期再见！