Linux黑科技｜mmap实现详解
故事的开始是这样的，某天在脉脉上看到有人发了下面的帖子：
想不到 mmap 都成了黑科技了，为了让大家都能了解这个黑科技，所以还是写篇文章来详细介绍一下 mmap 的实现吧。
其实，源码分析是比较难写的，主要有两个原因：
一方面是源码实现一般会涉及多个知识点，所以在分析源码时需要穿插多个知识点，从而增加分析的难度。 另一方面是源码实现会处理很多细节问题，这些细节问题虽然不是设计的主要框架，但忽略了有时会让人摸不着头脑。
所以，为了降低分析的难度和让读者能够更容易看懂，在分析源码时更注重知识点的实现，而在不影响理解的情况下，我会忽略一些细节问题。而对于穿插其他知识点的时候，会先跳过其实现，并且在后续的文章对其进行分析。
mmap 原理
在之前的文章中，我们也介绍过 mmap 的原理，比如这篇：《原来 mmap 这么简单》。当然这篇文章只是简单介绍了 mmap 的原理，但是 mmap 的实现远不止那么简单，这是因为 mmap 涉及多个子系统，如：内存管理、文件系统、中断处理等。
好消息是，这几个子系统我们都有对应的文章介绍过：
内存管理：《Linux虚拟内存空间管理》 文件系统：《 什么是页缓存》 中断处理：《Linux中断处理》
在阅读本文前，最好复习一下上面的文章。
虽然在《原来 mmap 这么简单》一文中，我们简单介绍过 mmap 的原理。但为了方便分析源码，下面还是简单回顾一下 mmap 的原理吧。
mmap 的全称是 memory map，中文意思是 内存映射。其用途是将文件映射到内存中，然后可以通过对映射区的内存进行读写操作，其效果等同于对文件进行读写操作。
下面我们通过一幅图来对 mmap 的原理进行阐述：
从上图可以看出，mmap 的原理就是将虚拟内存空间映射到文件的页缓存，在《什么是页缓存》一文中可知，对文件进行读写时需要经过页缓存进行中转的。所以当虚拟内存地址映射到文件的页缓存后，就可以直接通过读写映射区内存来对文件进行读写操作。
mmap 实现
在分析 mmap 的实现前，最好先了解其使用方式，mmap 的使用可以参考《原来 mmap 这么简单》这篇文章。
1. 文件映射
当我们使用 mmap() 系统调用对文件进行映射时，将会触发调用 do_mmap_pgoff() 内核函数来完成工作，我们来看看 do_mmap_pgoff() 函数的实现（经过精简后）：
unsigned long
do_mmap_pgoff(struct file *file, unsigned long addr,
unsigned long len, unsigned long prot,
unsigned long flags, unsigned long pgoff)
{
...
// 1. 获取一个未被使用的虚拟内存区
addr = get_unmapped_area(file, addr, len, pgoff, flags);
if (addr & ~PAGE_MASK)
return addr;
...
// 2. 调用 mmap_region() 函数继续进行映射操作
return mmap_region(file, addr, len, flags, vm_flags, pgoff, accountable);
}
经过精简后的 do_mmap_pgoff() 函数主要完成 2 个工作：
首先，调用 get_unmapped_area()函数来获取进程没被使用的虚拟内存区，并且返回此内存区的首地址。然后，调用 mmap_region()函数继续进行映射操作。
在 32 位的操作系统中，每个进程都有 4GB 的虚拟内存空间，应用程序在使用内存前，需要先向操作系统发起申请内存的操作。操作系统会从进程的虚拟内存空间中查找未被使用的内存地址，并且返回给应用程序。
操作系统会记录进程正在使用中的虚拟内存地址，如果内存地址没被登记，说明此内存地址是空闲的（未被使用）。
我们继续来看看 mmap_region() 函数的实现，代码如下（经过精简后）：
unsigned long
mmap_region(struct file *file, unsigned long addr,
unsigned long len, unsigned long flags,
unsigned int vm_flags, unsigned long pgoff,
int accountable)
{
struct mm_struct *mm = current->mm;
struct vm_area_struct *vma, *prev;
int correct_wcount = 0;
int error;
...
// 1. 申请一个虚拟内存区管理结构(vma)
vma = kmem_cache_zalloc(vm_area_cachep, GFP_KERNEL);
...
// 2. 设置vma结构各个字段的值
vma->vm_mm = mm;
vma->vm_start = addr;
vma->vm_end = addr + len;
vma->vm_flags = vm_flags;
vma->vm_page_prot = protection_map[vm_flags & (VM_READ|VM_WRITE|VM_EXEC|VM_SHARED)];
vma->vm_pgoff = pgoff;
if (file) {
...
vma->vm_file = file;
/* 3. 此处是内存映射的关键点，调用文件对象的 mmap() 回调函数来设置vma结构的 fault() 回调函数。
* vma对象的 fault() 回调函数的作用是：
* - 当访问的虚拟内存没有映射到物理内存时，
* - 将会调用 fault() 回调函数对虚拟内存地址映射到物理内存地址。
*/
error = file->f_op->mmap(file, vma);
...
}
...
// 4. 把 vma 结构连接到进程虚拟内存区的链表和红黑树中。
vma_link(mm, vma, prev, rb_link, rb_parent);
...
return addr;
}
mmap_region() 函数主要完成以下 4 件事情：
申请一个 vm_area_struct结构（vma），内核使用 vma 来管理进程的虚拟内存地址，关于 vma 的详细介绍可以参考：《Linux虚拟内存空间管理》。设置 vma 结构各个字段的值。 通过调用文件对象的 mmap()回调函数来设置vma结构的fault()回调函数，一般文件对象的mmap()回调函数为：generic_file_mmap()。把新创建的 vma 结构连接到进程的虚拟内存区链表和红黑树中。
内核使用 vm_area_struct 结构来管理进程的虚拟内存地址。当进程需要使用内存时，首先要向操作系统进行申请，操作系统会使用 vm_area_struct 结构来记录被分配出去的内存区的大小、起始地址和权限等。
我们来看看 vm_area_struct 结构的定义：
struct vm_area_struct {
struct mm_struct *vm_mm;
unsigned long vm_start; // 内存区的开始地址
unsigned long vm_end; // 内存区的结束地址
struct vm_area_struct *vm_next; // 把进程所有已分配的内存区链接起来
pgprot_t vm_page_prot; // 内存区的权限
...
struct rb_node vm_rb; // 为了加快查找内存区而建立的红黑树
...
struct vm_operations_struct *vm_ops; // 内存区的操作回调函数集
unsigned long vm_pgoff;
struct file *vm_file; // 如果映射到文件，将指向映射的文件对象
...
};
struct vm_operations_struct {
// 当虚拟内存区没有映射到物理内存地址时，将会触发缺页异常，
// 而在缺页异常处理函数中，将会调用此回调函数来对虚拟内存映射到物理内存。
int (*fault)(struct vm_area_struct *vma, struct vm_fault *vmf);
...
};
当把文件映射到虚拟内存空间时，需要把 vma 结构的 vm_file 字段设置为要映射的文件对象，然后调用文件对象的 mmap() 回调函数来设置 vma 结构的 fault() 回调函数。
vma结构的fault()回调函数的作用是：当虚拟内存区没有映射到物理内存地址时，将会触发缺页异常。而在缺页异常处理中，将会调用此回调函数来对虚拟内存映射到物理内存。
我们来看看 generic_file_mmap() 函数是怎么设置 vma 结构的 fault() 回调函数的：
struct vm_operations_struct generic_file_vm_ops = {
.fault = filemap_fault, // 将 fault() 回调函数设置为：filemap_fault()
};
int generic_file_mmap(struct file *file, struct vm_area_struct *vma)
{
...
vma->vm_ops = &generic_file_vm_ops;
...
return 0;
}
至此，文件映射的过程已经分析完毕。我们来看看其调用链：
sys_mmap()
└→ do_mmap_pgoff()
└→ mmap_region()
└→ generic_file_mmap()2. 缺页异常
前面介绍了 mmap() 系统调用的处理过程，可以发现 mmap() 只是将 vma 的 vm_file 字段设置为被映射的文件对象，并且将 vma 的 fault() 回调函数设置为 filemap_fault()。也就是说，mmap() 系统调用并没有对虚拟内存进行任何的映射操作。
我们在《漫画解说 “内存映射”》一文中介绍过，虚拟内存必须映射到物理内存才能使用。如果访问没有映射到物理内存的虚拟内存地址，CPU 将会触发缺页异常。也就是说，虚拟内存并不能直接映射到磁盘中的文件。
那么 mmap() 是怎么将文件映射到虚拟内存中呢？我们在《 什么是页缓存》一文中介绍过，读写文件时并不是直接对磁盘上的文件进行操作的，而是通过 页缓存 作为中转的，而页缓存就是物理内存中的内存页。所以，mmap() 可以通过将文件的页缓存映射到虚拟内存空间来实现对文件的映射。
但我们在 mmap() 系统调用的实现中，也没看到将文件页缓存映射到虚拟内存空间。那么映射过程是在什么时候发生的呢？
答案就是：缺页异常。
由于 mmap() 系统调用并没有直接将文件的页缓存映射到虚拟内存中，所以当访问到没有映射的虚拟内存地址时，将会触发 缺页异常。当 CPU 触发缺页异常时，将会调用 do_page_fault() 函数来修复触发异常的虚拟内存地址。
我们主要来看看 do_page_fault() 函数对文件映射的实现部分，其调用链如下：
do_page_fault()
└→ handle_mm_fault()
└→ handle_pte_fault()
└→ do_linear_fault()
└→ __do_fault()所以我们直接来看看 __do_fault() 函数的实现：
static int
__do_fault(struct mm_struct *mm, struct vm_area_struct *vma,
unsigned long address, pmd_t *pmd, pgoff_t pgoff,
unsigned int flags, pte_t orig_pte)
{
...
vmf.virtual_address = address & PAGE_MASK; // 要映射的虚拟内存地址
vmf.pgoff = pgoff; // 映射到文件的偏移量
vmf.flags = flags; // 标志位
vmf.page = NULL; // 映射到虚拟内存中的物理内存页
// 1. 如果虚拟内存管理区提供了 falut() 回调函数，那么将调用此函数来获取要映射的物理内存页，
// 我们在 mmap() 系统调用的实现中看到，已经将其设置为 filemap_fault() 函数了。
if (likely(vma->vm_ops->fault)) {
ret = vma->vm_ops->fault(vma, &vmf);
...
}
...
if (likely(pte_same(*page_table, orig_pte))) {
...
// 2. 通过物理内存页生成一个页表项值（可以参考内存映射一文）
entry = mk_pte(page, vma->vm_page_prot);
if (flags & FAULT_FLAG_WRITE)
entry = maybe_mkwrite(pte_mkdirty(entry), vma);
// 3. 将虚拟内存地址映射到物理内存（也就是将进程的页表项设置为刚生成的页表项的值）
set_pte_at(mm, address, page_table, entry);
...
}
...
return ret;
}
__do_fault() 函数对处理文件映射部分主要分为 3 个步骤：
调用虚拟内存管理区结构（vma）的 fault()回调函数（也就是filemap_fault()函数）来获取到文件的页缓存。通过页缓存的物理内存页来生成一个页表项值，可以参考《漫画解说 “内存映射”》一文。 将虚拟内存地址映射到页缓存的物理内存页（也就是将进程的页表项设置为上面生成的页表项的值）。
对于 filemap_fault() 函数是怎样读取文件页缓存的，本文不作解释，有兴趣的可以自行阅读源码。
最后，我们以一幅图来描述一下虚拟内存是如何与文件进行映射的：
从上图可以看出，mmap() 是通过将虚拟内存地址映射到文件的页缓存来实现的。当对映射后的虚拟内存进行读写操作时，其效果等价于直接对文件的页缓存进行读写操作。对文件的页缓存进行读写操作，也等价于对文件进行读写操作。