一文看懂.NET ORM 分表分库!
共 5162字,需浏览 11分钟
·
2020-10-13 03:03
一、理论知识
分表 - 从表面意思上看呢,就是把一张表分成N多个小表,每一个小表都是完正的一张表。分表后数据都是存放在分表里,总表只是一个外壳,存取数据发生在一个一个的分表里面。分表后单表的并发能力提高了,磁盘I/O性能也提高了。并发能力为什么提高了呢,因为查寻一次所花的时间变短了,如果出现高并发的话,总表可以根据不同 的查询,将并发压力分到不同的小表里面。
分库 - 把原本存储于一个库的数据分块存储到多个库上,把原本存储于一个表的数据分块存储到多个表上。数据库中的数据量不一定是可控的,在未进行分表分库的情况下,随着时间和业务的发展,库中的表会越来越多,表中的数据量也会越来越大,相应地,数据操作,增删改查的开销也会越来越大;另外,一台服务器的资源(CPU、磁盘、内存、IO等)是有限的,最终数据库所能承载的数据量、数据处理能力都将遭遇瓶颈
二、情怀满满
分表、分库在 .NET 下可谓是老大难题,简单点可以使用类似 mycat 中间件,但是就 .NET 平台的自身生态,很缺乏类似 sharding-jdbc 这样强大的轮子。
本人就自身有限的技术水平和经验,对分表、分库进行分析,实现出自成一套的使用方法,虽然不极 sharding-jdbc 强大,但是还算比较通用、简单。但愿有朝一日出现一批真正 .NET 大神,造出伟大的开源项目,实现你我心中的抱负。
这套分表、分库方法是建立在 .NET ORM FreeSql 之上做的,内容可能比较抽象,敬请谅解!后续会详解各种租户设计方案,除了按字段区分租户,还包括分库、分表的方案,敬请关注!
三、入戏准备
FreeSql 是 .Net ORM,能支持 .NetFramework4.0+、.NetCore、Xamarin、XAUI、Blazor、以及还有说不出来的运行平台,因为代码绿色无依赖,支持新平台非常简单。目前单元测试数量:5000+,Nuget下载数量:180K+,源码几乎每天都有提交。值得高兴的是 FreeSql 加入了 ncc 开源社区:https://github.com/dotnetcore/FreeSql,加入组织之后社区责任感更大,需要更努力做好品质,为开源社区出一份力。
QQ群:4336577(已满)、8578575(在线)、52508226(在线)
为什么要重复造轮子?
FreeSql 主要优势在于易用性上,基本是开箱即用,在不同数据库之间切换兼容性比较好。作者花了大量的时间精力在这个项目,肯请您花半小时了解下项目,谢谢。功能特性如下:
支持 CodeFirst 对比结构变化迁移; 支持 DbFirst 从数据库导入实体类; 支持 丰富的表达式函数,自定义解析; 支持 批量添加、批量更新、BulkCopy; 支持 导航属性,贪婪加载、延时加载、级联保存; 支持 读写分离、分表分库,租户设计; 支持 MySql/SqlServer/PostgreSQL/Oracle/Sqlite/达梦/神通/人大金仓/MsAccess;FreeSql 使用非常简单,【单机数据库】只需要定义一个 IFreeSql 对象即可:
static IFreeSql fsql = new FreeSql.FreeSqlBuilder()
.UseConnectionString(FreeSql.DataType.MySql, connectionString)
.UseAutoSyncStructure(true) //自动同步实体结构到数据库
.Build(); //请务必定义成 Singleton 单例模式
四、分表
既然是分表,那就大胆认为他是操作【单机数据库】,只需要对实体类进行动态映射表名即可实现,FreeSql 原生用法、FreeSql.Repository 仓储用法 都提供了 AsTable 方法对分表进行 CRUD 操作,例如:
var repo = fsql.GetRepository
(); repo.AsTable(oldname => $"{oldname}_201903");
//对 Log_201903 表 CRUD
repo.Insert(new Log { ... });
repo.Update(...);
repo.Delete(...);
repo.Select...;
AsTable 动态设置实体映射的表名,达到对分表的操作目的。除了 CRUD 操作,还提供了创建分表的功能:
如果开启了自动同步结构功能 UseAutoSyncStructure(true),则 AsTable 会自动创建对应分表; 可以使用 fsql.CodeFirst.SyncStructure(typeof(实体类), "分表名") 进行手工建表;
多数情况,我们都建议提前创建好分表,如果按月分表,手工创建一年的分表。目前这种算是比较简单入门的方案,远不及 mycat、sharding-jdbc 那么智能,比如:
不能利用分表字段自动进行分表映射; 不能在查询时根据 where 条件自动映射分表,甚至跨多个分表的联合查询;
五、分库(单机)
分库,但是在同一个数据库服务器实例下。这种情况也可以使用 AsTable 方式进行操作,如下:
var repo = fsql.GetRepository
(); repo.AsTable(oldname => $"{201903}.dbo.{oldname}");
//对 [201903].dbo.Log CRUD
分库之后,老大难题是事务,如果使用 SqlServer 可以利用 TransactionScope 做简单的跨库事务,如下:
var repoLog = fsql.GetRepository
(); var repoComment = fsql.GetRepository
(); repoLog.AsTable(oldname => $"{201903}.dbo.{oldname}");
repoComment.AsTable(oldname => $"{201903}.dbo.{oldname}");
using (TransactionScope ts = new TransactionScope())
{
repoComment.Insert(new Comment { ... });
repoLog.Insert(new Log { ... });
ts.Complete();
}
六、分库(跨服务器)
前面提到:【单机数据库】只需要定义一个 IFreeSql 对象即可。那分库是不是要定义很多个 IFreeSql 对象?答案是的。
一般思路可以定义 static ConcurrentDictionary
更好的办法可以使用 IdleBus 空闲对象管理容器,有效组织对象重复利用,自动创建、销毁,解决【实例】过多且长时间占用的问题。有时候想做一个单例对象重复使用提升性能,但是定义多了,有的又可能一直空闲着占用资源。专门解决:又想重复利用,又想少占资源的场景。https://github.com/2881099/IdleBus
dotnet add package IdleBus
static IdleBus
ib = new IdleBus (TimeSpan.FromMinutes(10));
ib.Register("db1", () => new FreeSqlBuilder().UseConnectionString(DataType.MySql, "str1").Build());
ib.Register("db2", () => new FreeSqlBuilder().UseConnectionString(DataType.MySql, "str2").Build());
ib.Register("db3", () => new FreeSqlBuilder().UseConnectionString(DataType.SqlServer, "str3").Build());
//...注册很多个
ib.Get("db1").Select
().Limit(10).ToList();
IdleBus 也是【单例】设计!主要的两个方法,注册,获取。idlebus 注册不是创建 IFreeSql,首次 Get 时才创建,后面会一直用已经创建的。还有一个超时机制,如果 10 分钟该 IFreeSql 未使用会被 Dispose,然后下一次又会创建新的 IFreeSql,如此反复。从而解决了 10000 个 IFreeSql 长驻内存的问题。
还利用 AsyncLocal 特性扩展使用起来更加方便:
public static class IdleBusExtesions
{
static AsyncLocal
asyncDb = new AsyncLocal (); public static IdleBus
ChangeDatabase(this IdleBus ib, string db) {
asyncDb.Value = db;
return ib;
}
public static IFreeSql Get(this IdleBus
ib) => ib.Get(asyncDb.Value ?? "db1"); public static IBaseRepository
GetRepository (this IdleBus ib) where T : class => ib.Get().GetRepository
(); }
使用 ChangeDatabase 切换 db; 使用 Get() 获取当前 IFreeSql,省略每次都传递 db 参数; 使用 GetRepository 获取当前 IFreeSql 对应的仓储类;
注意:使用 IdleBus 需要弱化 IFreeSql 的存在,每次都使用 ib.Get 获取 IFreeSql 对象;
IdleBus
ib = ...; //单例注入
var fsql = ib.Get(); //获取当前租户对应的 IFreeSql
var fsql00102 = ib.ChangeDatabase("db2").Get(); //切换租户,后面的操作都是针对 db2
var songRepository = ib.GetRepository
(); var detailRepository = ib.GetRepository
();
目前这种算是比较简单入门的方案,远不及 mycat、sharding-jdbc 那么智能,比如:没有实现跨库事务。
七、写在最后
.NET 生态还处于较弱的状态,呼吁大家支持、踊跃参与开源项目,为下一个 .NET 开源社区五年计划做贡献。
希望正在使用的、善良的您能动一动小手指,把文章转发一下,让更多人知道 .NET 有这样一个好用的 ORM 存在。谢谢了!!
FreeSql 开源协议 MIT
https://github.com/dotnetcore/FreeSql
可以商用,文档齐全。
QQ群:4336577(已满)、8578575(在线)、52508226(在线)
如果你有好的 ORM 实现想法,欢迎给作者留言讨论,谢谢观看!
![](https://filescdn.proginn.com/9cc3b4dbef9f57f9f8d9897bb93b496c/385ce51b73bc513f45b5674a77a35019.webp)
![](https://filescdn.proginn.com/d42620e4d7eb045277252a6583e6d508/dd86e34bd1e78cd49cd03a8408caddf3.webp)
强烈推荐:超全C#帮助类,提升效率就靠它