开源项目:使用 Rust 写一个兼容 Linux 的内核

polarisxu

共 6067字,需浏览 13分钟

 ·

2021-11-13 22:18

前些时间,Linus 表示不排斥 Linux 开发使用 Rust。今天为大家带来一篇介绍 Rust 写 Linux 内核的文章。

注意,用 Rust 写一个兼容 Linux 的内核,目的不是取代 Linux,而是为了好玩、学习和练习。


近几个月来,我一直在研究一个新的操作系统内核 Kerla[1],这是一个使用 Rust 从零开始实现的,希望在 ABI 级别兼容 Linux。换句话说,支持运行未经修改的 Linux 二进制文件

开源项目地址:https://github.com/nuta/kerla

我已经实现了基本功能:fork(2) and execve(2) ,文件操作, initramfs,TCP/UDP sockets, 信号, tty/pty, 管道, poll 等。

你可以通过 ssh 进入 Kerla,它运行在临时创建的 Firecracker 微 VM 上,这是专门问你创建并启动的。(你本地也可以通过以下命令进入)

$ ssh root@kerla-demo.seiya.me

Kerla

在这篇文章中,我将分享我在操作系统内核中使用 Rust 的第一印象。

01 Rust 在业务领域的成功

Rust 是一门深受用户喜爱的[2]编程语言,使用它,你可以高效开发出可靠且性能好的软件。

Rust 的所有权概念和类型系统可以让你专注于修复逻辑错误,而不是痛苦的记忆 error 和 race。enum 强制你处理所有可能的 input/ouput 模式。此外,它的构建系统(cargo)和 IDE 支持(rust-analyzer[3])真的很棒。

生产环境慢慢有使用 Rust 的案例:AWS 的轻量级 VMM[4]npm registry 的部分模块[5]以及许多其他公司[6]。Rust 无疑是 C/C++ 之外一个很好的选择(但并不一定是替代 C/C++)。

02 Rust 在内核领域

近年来,用 Rust 重写现有软件一直受到关注。

Bryan Cantrill 在《是时候用 Rust 重写操作系统了吗?》[7] 的演示中,建议采用混合方法:

因此,一种混合方法是,你保留现有的基于 C/assmbly 的内核,就像我们多年来一直采用的方式一致。然后,你允许开发基于 Rust 的东西、基于 Rust 的驱动程序、基于 Rust 的文件系统、基于 Rust 的内核软件。

这就是在 Rust for Linux[8] 工作的人的情况。你可能听说过最近 LKML 上建议的补丁[9]

我完全同意,重写现有的,庞大的,功能丰富,健壮的操作系统内核不是一个好主意。然而,我想到了一个问题:从零开始,用 Rust 写一个类 UNIX 的实用操作系统内核的利弊是什么?它看起来像什么?这就是我开始这个项目的原因。

为了探索 Rust 在内核领域的长处和短处,我决定开发一个实用的、特定的,与 Linux 兼容的内核,可用作虚拟计算机上的[" Faas"](https://en.wikipedia.org/wiki/Function_as_a_service "" Faas"")运行环境。为此,你只需要很少的设备驱动程序(例如 virtio[10]),我们就不必支持高级 Linux 功能(如 eBPF)。此外,与其他长期运行的工作负载相比,内核崩溃不会是一个关键问题。

03 内核领域使用 Rust 有好处吗?

在我看来,有!

内核有一点特别:panic! 会导致系统崩溃,内存分配故障应处理而不是 panicking,隐藏控制流和隐藏分配通常不能接受。

Rust 的优势也适用内核领域。我最喜欢的例子是无空指针处理问题:如果指针是无效的(即 Option>),你不能解引用它,直到你明确处理空(None)情况!此外,使用新类型习语[11],你可以区分内核和用户指针。

但是,我们在内核领域使用 Rust 时仍然存在一些问题:

分配失败会 panic!

这个问题在 Linus Torvalds on the Linux kernel's Rust support patch[12] 中提到的。

我们来看看 Arc::new()[13] 的定义,一个创建线程安全参考计数指针的构造器:

pub fn new(data: T) -> Arc

看起来超级直观,对吧?然而,它有一个隐含的 panic 情况:内部缓冲分配失败。

处理分配故障很无聊。当我开始一个 C 项目时,第一步是写我自己的 xmalloc(3)[14],这样我不需要检查结果是否是 NULL。如果它耗尽了内存, 直接 crash 即可,没什么大不了的。我只需要生成一个新的有更多内存的 VM 或或在亚马逊上购买新的内存。

然而,在内核空间中,kernel panic 是一件大事。我们应该设法从低内存状态中恢复过来,以保持系统的工作状态。没人想看蓝屏。

在我的项目中,为了利用现有的便利 crates,我决定走目前的 Rust 路:允许因分配失败而 panic。这就是说,在不久的将来,我确实认为需要使用(或编写我们自己的)动态分配容器的可故障版本。

更大的二进制大小

Resea[15],一个基于微内核的操作系统,使用 C 编写的,仅仅 845KiB,包括用户地应用程序, 如 TCP/IP 服务器,英特尔基于 hypervisor 的 VT-x 和 Linux ABI 模拟支持。

相比之下,Kerla 镜像需要大约 1.1 MiB,不包括 initramf。虽然极简的微内核和单片内核有着相反的理念,但在我看来,Rust 实现往往大于 C 实现。

虽然有一些大小优化方法[16]可用,但在极其受限的设备(例如 1 类设备[17])中,这可能是一个问题。

make menuconfig 丢失

操作系统内核有许多参数。在 Linux 内核中,可以使用配置工具进行配置,如 make menuconfigmake xconfig。在 Rust 中,我们有特性标志[18],可启用/禁用 crate 中的特性。但是,如果你想要更改硬编码参数(如心跳间隔),该怎么办?你是否通过环境变量和 env![19] 宏来配置它?不, 它只接受一个字符串。

我们可能需要一个功能丰富的构建配置机制,就像 Cargo 中的 Kconfig[20] 一样。

这些问题迟早会解决!

我要强调,这些问题并非源于语言设计。

Rust 正在不断改善。关于分配失败,人们已经开始着手处理它(见跟踪问题[21])。此外,你不必使用 liballocheapless crate[22] 将是一个很好的选择。

04 Rust 在内核领域的优点

尽管有我上面提到的问题,但我觉得用 Rust 写内核一定是富有成效的。Rust 用在内核领域我最喜欢的优点:

  • Rust 让我有信心:其类型系统和所有权、生命周期概念使我意识到,我的实现编译不通过,因为它违反了共享的 XOR 可变规则,例如,一旦编译通过,能正常运行就一点都不奇怪(如没有讨厌的数据竞争和危险的空指针)。
  • 强制处理所有的 input 模式enum 和模式匹配 (match) 让你可以处理所有可能的情况,不会有漏掉的情况。
  • 它具备写内核的特性packed struct[23]raw pointers[24]改进的内联汇编语法[25]embedding assembly files[26] 等等。
  • 便利的 no_std (独立) crates 可用bitflags 操作库[27]基于数组的 vector 和字符串实现[28]多生产者和多消费者队列[29] 等等。
  • 内置单元测试:在 Rust 中编写和运行单元测试非常简单。此外,由于 custom_test_frameworks[30] 功能,你可以在 QEMU 或真实机器上运行单元测试。
  • 开发者友好的超棒工具链linter[31] 帮助你编写友好的 Rust 代码,交叉编译[32] 很容易,而 rust-analyzer[33] 可以把你喜欢的编辑器变成类似 IntelliJ IDEA 这样的 Rust IDE。

05 期待你的参与

这个内核还处于非常早期的阶段。一些关键功能,如 futex、epoll、UNIX 域 socket 等尚未实现。换句话说,代码仍然简单易懂!如果你有兴趣在 Rust 中编写操作系统内核,欢迎参与。

— written by Seiya Nuta CC BY 4.0

原文链接:https://seiya.me/writing-linux-clone-in-rust

参考资料

[1]

Kerla: https://github.com/nuta/kerla

[2]

深受用户喜爱的: https://insights.stackoverflow.com/survey/2020#technology-most-loved-dreaded-and-wanted-languages

[3]

rust-analyzer: https://rust-analyzer.github.io/

[4]

AWS 的轻量级 VMM: https://aws.amazon.com/blogs/opensource/why-aws-loves-rust-and-how-wed-like-to-help/

[5]

npm registry 的部分模块: https://www.rust-lang.org/static/pdfs/Rust-npm-Whitepaper.pdf

[6]

许多其他公司: https://www.rust-lang.org/production/users

[7]

《是时候用 Rust 重写操作系统了吗?》: https://www.infoq.com/presentations/os-rust/

[8]

Rust for Linux: https://github.com/Rust-for-Linux/linux

[9]

补丁: https://lkml.org/lkml/2021/4/14/1023

[10]

virtio: https://wiki.osdev.org/Virtio

[11]

新类型习语: https://doc.rust-lang.org/rust-by-example/generics/new_types.html

[12]

Linus Torvalds on the Linux kernel's Rust support patch: https://lkml.org/lkml/2021/4/14/1099

[13]

Arc::new(): https://doc.rust-lang.org/alloc/sync/struct.Arc.html#method.new

[14]

xmalloc(3): https://www.freebsd.org/cgi/man.cgi?query=xmalloc&apropos=0

[15]

Resea: https://resea.org/

[16]

一些大小优化方法: https://github.com/johnthagen/min-sized-rust

[17]

1 类设备: https://tools.ietf.org/html/rfc7228

[18]

特性标志: https://doc.rust-lang.org/cargo/reference/features.html

[19]

env!: https://doc.rust-lang.org/std/macro.env.html

[20]

Kconfig: https://www.kernel.org/doc/html/latest/kbuild/kconfig-language.html

[21]

跟踪问题: https://github.com/rust-lang/rust/issues/32838

[22]

heapless crate: https://docs.rs/heapless/

[23]

packed struct: https://doc.rust-lang.org/nomicon/other-reprs.html#reprpacked

[24]

raw pointers: https://doc.rust-lang.org/std/primitive.pointer.html

[25]

改进的内联汇编语法: https://blog.rust-lang.org/inside-rust/2020/06/08/new-inline-asm.html

[26]

embedding assembly files: https://doc.rust-lang.org/unstable-book/library-features/global-asm.html

[27]

bitflags 操作库: https://docs.rs/bitflags/1.2.1/bitflags/

[28]

基于数组的 vector 和字符串实现: https://docs.rs/arrayvec/0.7.0/arrayvec/

[29]

多生产者和多消费者队列: https://docs.rs/crossbeam/0.8.0/crossbeam/queue/struct.ArrayQueue.html

[30]

custom_test_frameworks: https://rust-lang.github.io/rfcs/2318-custom-test-frameworks.html

[31]

linter: https://github.com/rust-lang/rust-clippy

[32]

交叉编译: https://rust-lang.github.io/rustup/cross-compilation.html

[33]

rust-analyzer: https://rust-analyzer.github.io/




往期推荐


我是 polarisxu,北大硕士毕业,曾在 360 等知名互联网公司工作,10多年技术研发与架构经验!2012 年接触 Go 语言并创建了 Go 语言中文网!著有《Go语言编程之旅》、开源图书《Go语言标准库》等。


坚持输出技术(包括 Go、Rust 等技术)、职场心得和创业感悟!欢迎关注「polarisxu」一起成长!也欢迎加我微信好友交流:gopherstudio


浏览 57
点赞
评论
收藏
分享

手机扫一扫分享

举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

举报