并行文件系统：元数据如何纵向可扩展？
共 1481字，需浏览 3分钟
·
2022-03-02 14:59
在HPC计算和存储业务中，针对文件系统的IO请求中，一半以上是元数据访问。元数据访问特点：
I/O大小较小（元数据大小通常只有几百Byte），使得元数据服务器CPU的负载重 许多元数据操作包含多次子操作，例如打开文件需要进行多次的路径解析，使得元数据操作会触发多次网络I/O
当前，主流并行文件系统大多采用分布式解决方案中，Lustre、CephFS采用子树划分+目录条带化；BeeGFS根据名称的Hash值分布到多节点；GlusterFS采用无中心架构；IndexFS的元数据以KV存储，通过GIGA+算法分布到多节点。
现有文件系统元数据管理的潜在缺陷：1）POSIX的语义限制了元数据性能提升，2）数据结构不利于并发处理，3）元数据性能提升面临的机遇，如IO设备跨越式发展（NVMe SSD充裕的IOPS和带宽，多通道并发能力）。
针对文件系统元数据一直是文件系统的瓶颈问题，单点元数据性能仍然存在很大的提升空间，如没有充分发挥IO效能，没有充分发挥计算效能等，本文提出改进数据结构，降低IO之间的依赖，发挥并行IO能力（降低目录路径解析延迟，降低大目录访问延迟，降低数据块访问延迟）改进算法，发挥计算部件的并行计算能力等措施。
针对文件系统元数据一直是文件系统的瓶颈问题，单点元数据性能仍然存在很大的提升空间，如没有充分发挥IO效能，没有充分发挥计算效能等，本文提出改进数据结构，降低IO之间的依赖，发挥并行IO能力（降低目录路径解析延迟，降低大目录访问延迟，降低数据块访问延迟）改进算法，发挥计算部件的并行计算能力等措施。
免责申明：本号聚焦相关技术分享，内容观点不代表本号立场，可追溯内容均注明来源，发布文章若存在版权等问题，请留言联系删除，谢谢。
电子书<服务器基础知识全解(终极版)>更新完毕。
获取方式：点击“阅读原文”即可查看182页 PPT可编辑版本和PDF阅读版本详情。
温馨提示：
请搜索“AI_Architect”或“扫码”关注公众号实时掌握深度技术分享，点击“阅读原文”获取更多原创技术干货。
