.NET开源推荐:简单、高效、避免OOM的Excel工具

共 9561字,需浏览 20分钟

 ·

2021-04-24 21:48


前言


最近晚辈尝试做一个.NET简单、高效、避免OOM的Excel工具 MiniExcel。


主要目前主流框架大多将资料全载入到内存方便操作,但这会导致内存消耗问题,MiniExcel 尝试以 Stream 角度写底层算法逻辑,能让原本1000多MB占用降低到几MB,避免内存不够情况。适合像是低规格 azure app service 或是读取大文件等情境。

特点

  • 低内存耗用,避免OOM(out of memoery)、频繁 Full GC 情况
  • 支持即时操作每行数据
  • 兼具搭配 LINQ 延迟查询特性,能办到低消耗、快速分页等复杂查询 图片:与主流框架对比的消耗、效率差
  • 轻量,不依赖任何套件,DLL小于100KB
  • 简便操作的 Dapper API 风格

性能测试

Test1,000,000x10.xlsx 做基准与主流框架做性能测试,总共 1千万笔 "HelloWorld",文件大小 23 MB

Benchmarks 逻辑可以在 MiniExcel.Benchmarks 查看或是提交 PR,运行指令

dotnet run -p .\benchmarks\MiniExcel.Benchmarks\ -c Release -f netcoreapp3.1 -- -f * --join

最后一次运行结果 :

BenchmarkDotNet=v0.12.1, OS=Windows 10.0.19042
Intel Core i7-7700 CPU 3.60GHz (Kaby Lake), 1 CPU, 8 logical and 4 physical cores
  [Host]     : .NET Framework 4.8 (4.8.4341.0), X64 RyuJIT
  Job-ZYYABG : .NET Framework 4.8 (4.8.4341.0), X64 RyuJIT
IterationCount=3  LaunchCount=3  WarmupCount=3  



安装

Install-Package MiniExcel -Version 0.10.0
# or 
dotnet add package MiniExcel --version 0.10.0

其他请查看 from NuGet

Query 查询 Excel 返回强型别 IEnumerable 数据 [Try it]

推荐使用 Stream.Query 效率会相对较好。

public class UserAccount
{
    public Guid ID { getset; }
    public string Name { getset; }
    public DateTime BoD { getset; }
    public int Age { getset; }
    public bool VIP { getset; }
    public decimal Points { getset; }
}

var rows = MiniExcel.Query<UserAccount>(path);

// or

using (var stream = File.OpenRead(path))
    var rows = stream.Query<UserAccount>();

Query 查询 Excel 返回Dynamic IEnumerable 数据 [Try it]

  • Key 系统预设为 A,B,C,D...Z
MiniExcel1
Github2
var rows = MiniExcel.Query(path).ToList();

// or 
using (var stream = File.OpenRead(path))
{
    var rows = stream.Query().ToList();
                
    Assert.Equal("MiniExcel", rows[0].A);
    Assert.Equal(1, rows[0].B);
    Assert.Equal("Github", rows[1].A);
    Assert.Equal(2, rows[1].B);
}

查询数据以第一行数据当Key [Try it]

note : 同名以右边数据为准

Input Excel :

Column1Column2
MiniExcel1
Github2
var rows = MiniExcel.Query(useHeaderRow:true).ToList();

// or

using (var stream = File.OpenRead(path))
{
    var rows = stream.Query(useHeaderRow:true).ToList();

    Assert.Equal("MiniExcel", rows[0].Column1);
    Assert.Equal(1, rows[0].Column2);
    Assert.Equal("Github", rows[1].Column1);
    Assert.Equal(2, rows[1].Column2);
}

Query 查询支援延迟加载(Deferred Execution),能配合LINQ First/Take/Skip办到低消耗、高效率复杂查询

Query First

var row = MiniExcel.Query(path).First();
Assert.Equal("HelloWorld", row.A);

// or

using (var stream = File.OpenRead(path))
{
    var row = stream.Query().First();
    Assert.Equal("HelloWorld", row.A);
}

建立 Excel 文件 [Try it]

  1. 必须是 non-abstract 类别有 public parameterless constructor
  2. MiniExcel SaveAs 支援 IEnumerable参数``延迟查询,除非必要请不要使用 ToList 等方法读取全部数据到内存

图片 : 是否呼叫 ToList 的内存差别

Anonymous or strongly type:

var path = Path.Combine(Path.GetTempPath(), $"{Guid.NewGuid()}.xlsx");
MiniExcel.SaveAs(path, new[] {
    new { Column1 = "MiniExcel", Column2 = 1 },
    new { Column1 = "Github", Column2 = 2}
});

Datatable:

var path = Path.Combine(Path.GetTempPath(), $"{Guid.NewGuid()}.xlsx");
var table = new DataTable();
{
    table.Columns.Add("Column1"typeof(string));
    table.Columns.Add("Column2"typeof(decimal));
    table.Rows.Add("MiniExcel"1);
    table.Rows.Add("Github"2);
}

MiniExcel.SaveAs(path, table);

Dapper:

using (var connection = GetConnection(connectionString))
{
    var rows = connection.Query(@"select 'MiniExcel' as Column1,1 as Column2 union all select 'Github',2");
    MiniExcel.SaveAs(path, rows);
}
IEnumerable<IDictionary<stringobject>>
var values = new List<Dictionary<stringobject>>()
{
    new Dictionary<string,object>{{ "Column1""MiniExcel" }, { "Column2"1 } },
    new Dictionary<string,object>{{ "Column1""Github" }, { "Column2"2 } }
};
MiniExcel.SaveAs(path, values);

output :

Column1Column2
MiniExcel1
Github2

SaveAs 支援 Stream [Try it]

using (var stream = File.Create(path))
{
    stream.SaveAs(values);
}

Excel Column Name/Ignore Attribute

e.g

input excel :

public class ExcelAttributeDemo
{
    [ExcelColumnName("Column1")]
    public string Test1 { getset; }
    [ExcelColumnName("Column2")]
    public string Test2 { getset; }
    [ExcelIgnore]
    public string Test3 { getset; }
    public string Test4 { getset; }
    public string Test5 { get; }
    public string Test6 { getprivate set; }
}

var rows = MiniExcel.Query<ExcelAttributeDemo>(path).ToList();
Assert.Equal("Column1", rows[0].Test1);
Assert.Equal("Column2", rows[0].Test2);
Assert.Null(rows[0].Test3);
Assert.Equal("Test4", rows[0].Test4);
Assert.Null(rows[0].Test5);
Assert.Null(rows[0].Test6);

例子 : SQLite & Dapper 读取大数据新增到数据库

note : 请不要呼叫 call ToList/ToArray 等方法,这会将所有数据读到内存内

using (var connection = new SQLiteConnection(connectionString))
{
    connection.Open();
    using (var transaction = connection.BeginTransaction())
    using (var stream = File.OpenRead(path))
    {
    var rows = stream.Query();
    foreach (var row in rows)
    connection.Execute("insert into T (A,B) values (@A,@B)"new { row.A, row.B }, transaction: transaction);
    transaction.Commit();
    }
}

效能:


例子 : ASP.NET Core 3.1 or MVC 5 下载 Excel Xlsx API Demo

public class ExcelController : Controller
{
    public IActionResult Download()
    {
        var values = new[] {
            new { Column1 = "MiniExcel", Column2 = 1 },
            new { Column1 = "Github", Column2 = 2}
        };
        var stream = new MemoryStream();
        stream.SaveAs(values);
        return File(stream,
            "application/vnd.openxmlformats-officedocument.spreadsheetml.sheet",
            "demo.xlsx");
    }
}

Excel 类别自动判断

MiniExcel 预设会根据扩展名或是 Stream 类别判断是 xlsx 还是 csv,但会有失准时候,请自行指定。

stream.SaveAs(excelType:ExcelType.CSV);
//or
stream.SaveAs(excelType:ExcelType.XLSX);
//or
stream.Query(excelType:ExcelType.CSV);
//or
stream.Query(excelType:ExcelType.XLSX);

Dynamic Query 转换 IDictionary<string,object> 数据

foreach(IDictionary<string,object> row = MiniExcel.Query(path))
{
    //..
}

Github : https://github.com/shps951023/MiniExcel

转自:暐翰

链接:cnblogs.com/ITWeiHan/p/14612821.html








回复 【关闭】广
回复 【实战】获取20套实战源码
回复 【被删】
回复 【访客】访
回复 【小程序】学获取15套【入门+实战+赚钱】小程序源码
回复 【python】学微获取全套0基础Python知识手册
回复 【2019】获取2019 .NET 开发者峰会资料PPT
回复 【加群】加入dotnet微信交流群

人人影视字幕组凉了,这款美剧APP不能错过!


谷歌灵魂插件,98%的程序员都好评!


浏览 73
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报