曹大带我学 Go(1)——调度的本质
你好,我是小X。
曹大最近开 Go 课程了,小X 正在和曹大学 Go。
这个系列会讲一些从课程中学到的让人醍醐灌顶的东西,拨云见日,带你重新认识 Go。
上周课程已经开始了,曹大直播了第一期,干货满满,大呼过瘾。第一课之后,陆续又加进来了一些同学。
首先抛出本文的结论:Go 调度的本质是一个生产-消费流程。
生产者-消费者模型
我们平时用 Go 最爽的一点莫过于用一句 go func(){}()
就启动了一个 goroutine 来并发地执行任务。这比用 C/C++ 启动一个线程并发地去执行任务方便太多。这句代码实际上就生产出了一个 goroutine,并进入可运行队列,等待和 m 来找它从而可以得到运行。
熟悉 GMP 模型的朋友都知道,goroutine 最终在 m 上得以执行,因为操作系统感知不到 goroutine,它只能感知线程,并且线程可以看成是 m。
所以,m 拿到 goroutine 并运行它的过程就是一个消费过程。
生产过程——三级队列
生产出的 goroutine 需要找一个地方存放,这个地方就是可运行队列。在 Go 程序中,可运行队列是分级的,分为三级:
runnext
实际上只能指向一个 goroutine,所以它是一个特殊的队列。
那把 goroutine 放到哪个可运行队列呢?看情况。
首先,如果 runnext 为空,那么 goroutine 就会顺利地放入 runnext,接下来,它会以最高优先级得到运行,即优先被消费。
如果 runnext 不为空,那就先负责把 runnext 上的 old goroutine 踢走,再把 new goroutine 放上来。具体踢到哪里呢?又得分情况。
local queue
是一个大小为 256 的数组,实际上用 head 和 tail 指针把它当成一个环形数组在使用。如果 local queue 不满,则将 runnext 放入 local queue;否则,P 的本地队列上的 goroutine 太多了,说明当前 P 的任务太重了,需要减负,因此需要得到其他 P 协助。从而,将 runnext 以及当前 P 的一半 goroutine 一起打包丢到 global queue 里去。
当然,这部分课程里有非常生动的动画,这里贴一个截图大家感受一下:
消费过程——调度循环
之前的文章里也讲到过调度循环是咋回事,它实际上就是 Go 程序在启动的时候,会创建和 CPU 核心数相等个数的 P,会创建初始的 m,称为 m0。这个 m0 会启动一个调度循环:不断地找 g,执行,再找 g……
伪代码是这样的:
随着程序的运行,m 更多地被创建出来,因此会有更多的调度循环在执行。
那边生产者在不断地生产 g,这边 m 的调度循环不断地在消费 g,整个过程就 run 起来了。
找 g 的过程中当然也是从上面的三级队列里找:
先看 runnext,再看 local queue,再看 global queue。当然,如果实在找不到,就去其他 p 去偷。
总结
今天的文章只用记住一个观点:Go 调度的本质是一个生产-消费流程。这个观点非常新颖,之前我没有从哪篇文章看到过,这是曹大自己的感悟。
读者即使之前没见过类似的说法,但是一旦听曹大讲出来,就马上感觉醍醐灌顶。
这种熟悉加意外的效果其实就是你成长的时机。
好了,这就是今天全部的内容了~ 我是小X,我们下期再见~
欢迎关注曹大的 TechPaper 以及码农桃花源~