搜索

图文讲透Golang标准库 net/http实现原理 -- 服务端

Go语言精选

共 13569字，需浏览 28分钟

 ·

2024-04-10 15:16

前言

今天分享下Go语言net/http标准库的内部实现逻辑，文章将从客户端(Client)--服务端(Server)两个方向作为切入点，进而一步步分析http标准库内部是如何运作的。

d4e403e1704d476a2cf7dbb6e503cd9f.webp

由于会涉及到不少的代码流程的走读，写完后觉得放在一篇文章中会过于长，可能在阅读感受上会不算很好，因此分为【Server--Client两个篇文章】进行发布。

本文内容是【服务端Server部分】，文章代码版本是Golang 1.19，文中会涉及较多的代码，需要耐心阅读，不过我会在尽量将注释也逻辑阐述清楚。先看下所有内容的大纲：

050b3a6c4d4e7a773ff4ad8d7c987462.webp

Go 语言的 net/http 中同时封装好了 HTTP 客户端和服务端的实现，这里分别举一个简单的使用示例。

Server启动示例

Server和Client端的代码实现来自net/http标准库的文档，都是简单的使用，而且用很少的代码就可以启动一个服务！

    
    
      http.HandleFunc("/hello", func(w http.ResponseWriter, r *http.Request) {
    fmt.Fprintf(w, "xiaoxu code")
})
http.ListenAndServe(":8080", nil)

上面代码中：

HandleFunc 方法注册了一个请求路径 /hello 的 handler 函数

ListenAndServe指定了8080端口进行监听和启动一个HTTP服务端

Client发送请求示例

HTTP 包一样可以发送请求，我们以Get方法来发起请求，这里同样也举一个简单例子：

    
    
      resp, err := http.Get("http://example.com/")
if err != nil {
    fmt.Println(err)
    return
}
defer resp.Body.Close()
body, _ := ioutil.ReadAll(resp.Body)
fmt.Println(string(body))

是不是感觉使用起来还是很简单的，短短几行代码就完成了http服务的启动和发送http请求，其背后是如何进行封装的，在接下的章节会讲清楚！

服务端 Server

我们先预览下图过程，对整个服务端做的事情有个了解

0fe62e0f9836e551dbc40cde37d64c6f.webp

从图中大致可以看出主要有这些流程：

  1. 1. 注册handler到map中，map的key是键值路由

  2. 2. handler注册完之后就开启循环监听，监听到一个连接就会异步创建一个 Goroutine

  3. 3. 在创建好的 Goroutine 内部会循环的等待接收请求数据

  4. 4. 接受到请求后，根据请求的地址去处理器路由表map中匹配对应的handler，然后执行handler

Server结构体

    
    
      type Server struct {
    Addr string
    Handler Handler 
    mu         sync.Mutex
    ReadTimeout time.Duration
    WriteTimeout time.Duration
    IdleTimeout time.Duration
    TLSConfig *tls.Config
    ConnState func(net.Conn, ConnState)
    activeConn map[*conn]struct{}
    doneChan   chan struct{}
    listeners  map[*net.Listener]struct{}
    ...
}

我们在下图中解释了部分字段代表的意思

93f10c367c4e49f44b87e07649351835.webp

ServeMux结构体

    
    
      type ServeMux struct {
    mu sync.RWMutex   
    m map[string]muxEntry 
    es []muxEntry    
    hosts bool     
}

字段说明：

  • • sync.RWMutex：这是读写互斥锁，允许goroutine 并发读取路由表，在修改路由map时独占

  • • map[string]muxEntry：map结构维护pattern (路由) 到 handler (处理函数) 的映射关系，精准匹配

  • • []muxEntry：存储 "/" 结尾的路由，切片内按从最长到最短的顺序排列，用作模糊匹配patter的muxEntry

  • • hosts：是否有任何模式包含主机名

Mux是【多路复用器】的意思，ServeMux就是服务端路由http请求的多路复用器。

👉 作用： 管理和处理程序来处理传入的HTTP请求

✏️ 原理：内部通过一个 map类型 维护了从 pattern (路由) 到 handler (处理函数) 的映射关系，收到请求后根据路径匹配找到对应的处理函数handler，处理函数进行逻辑处理。

d561a224f1a5155eab081468807d359b.webp

路由注册

通过对HandleFunc的调用追踪，内部的调用核心实现如下：

808e5c40eeb8d287d13ec639410d0db1.webp

了解完流程之后接下来继续追函数看代码

    
    
      var DefaultServeMux = &defaultServeMux
// 默认的ServeMux
var defaultServeMux ServeMux

// HandleFunc注册函数
func HandleFunc(pattern string, handler func(ResponseWriter, *Request)) {
    DefaultServeMux.HandleFunc(pattern, handler)
}

DefaultServeMux是ServeMux的默认实例。

    
    
      //接口
type Handler interface {
    ServeHTTP(ResponseWriter, *Request)
}

//HandlerFunc为函数类型
type HandlerFunc func(ResponseWriter, *Request)
//实现了Handler接口
func (f HandlerFunc) ServeHTTP(w ResponseWriter, r *Request) {
    f(w, r)
}


func (mux *ServeMux) HandleFunc(pattern string, handler func(ResponseWriter, *Request)) {
    ...
    // handler是真正处理请求的函数
    mux.Handle(pattern, HandlerFunc(handler))
}

HandlerFunc函数类型是一个适配器，是Handler接口的具体实现类型，因为它实现了ServeHTTP方法。

🚩 HandlerFunc(handler)， 通过类型转换的方式【handler -->HandlerFunc】将一个出入参形式为func(ResponseWriter, *Request)的函数转换为HandlerFunc类型，而HandlerFunc实现了Handler接口，所以这个被转换的函数handler可以被当做一个Handler对象进行赋值。

✏️ 好处：HandlerFunc(handler)方式实现灵活的路由功能，方便的将普通函数转换为Http处理程序，兼容注册不同具体的业务逻辑的处理请求。

你看，mux.Handle的第二个参数Handler就是个接口，ServeMux.Handle就是路由模式和处理函数在map中进行关系映射。

ServeMux.Handle 

    
    func (mux *ServeMux) Handle(pattern string, handler Handler) {
    mux.mu.Lock()
    defer mux.mu.Unlock()
    // 检查路由和处理函数
    ...
    //检查pattern是否存在
    ...
    //如果 mux.m 为nil 进行make初始化 map
    if mux.m == nil {
        mux.m = make(map[string]muxEntry)
    }
    e := muxEntry{h: handler, pattern: pattern}
    //注册好路由都会存放到mux.m里面
    mux.m[pattern] = e
    //patterm以'/'结尾
    if pattern[len(pattern)-1] == '/' {
        mux.es = appendSorted(mux.es, e)
    }

    if pattern[0] != '/' {
        mux.hosts = true
    }
}

Handle的实现主要是将传进来的pattern和handler保存在muxEntry结构中，然后将pattern作为key，把muxEntry添加到DefaultServeMux的Map里。

如果路由表达式以 '/' 结尾，则将对应的muxEntry对象加入到[]muxEntry切片中，然后通过appendSorted对路由按从长到短进行排序。

🚩 注：

map[string]muxEntry 的map使用哈希表是用于路由精确匹配

[]muxEntry用于部分匹配模式

到这里就完成了路由和handle的绑定注册了，至于为什么分了两个模式，在后面会说到，接下来就是启动服务进行监听的过程。

监听和服务启动

同样的我用图的方式监听和服务启动的函数调用链路画出来，让大家先有个印象。

结合图会对后续结合代码逻辑更清晰，知道这块代码调用属于哪个阶段！

0fe913e23d1e4bfaf60cf5030c041d53.webp

ListenAndServe启动服务： 

    
    
      func (srv *Server) ListenAndServe() error {
    if srv.shuttingDown() {
        return ErrServerClosed
    }
    addr := srv.Addr
    if addr == "" {
        addr = ":http"
    }
    // 指定网络地址并监听
    ln, err := net.Listen("tcp", addr)
    if err != nil {
        return err
    }
    // 接收处理请求
    return srv.Serve(ln)
}

net.Listen 实现了TCP协议上监听本地的端口8080 (ListenAndServe()中传过来的)，Server.Serve接受 net.Listener实例传入，然后为每个连接创建一个新的服务goroutine

使用net.Listen函数实现网络监听需要经过以下几个步骤：

  1. 1. 调用net.Listen函数，指定网络类型和监听地址。

  2. 2. 使用listener.Accept函数接受客户端的连接请求。

  3. 3. 在一个独立的goroutine中处理每个连接。

  4. 4. 在处理完连接后，调用conn.Close()来关闭连接

Server.Serve： 

    
    
      func (srv *Server) Serve(l net.Listener) error {
    origListener := l
    //内部实现Once是只执行一次动作的对象
    l = &onceCloseListener{Listener: l}
    defer l.Close()
    ...
    ctx := context.WithValue(baseCtx, ServerContextKey, srv)
    for {
        //rw为可理解为tcp连接
        rw, err := l.Accept()
        ...
        connCtx := ctx
        ...
        c := srv.newConn(rw)
        //
        go c.serve(connCtx)
    }
}

使用 for + listener.accept 处理客户端请求

  • • 在for 循环调用 Listener.Accept 方法循环读取新连接

  • • 读取到客户端请求后会创建一个 goroutine 异步执行 conn.serve 方法负责处理

    
    
      type onceCloseListener struct {
    net.Listener
    once     sync.Once
    closeErr error
}

onceCloseListener 是sync.Once的一次执行对象，当且仅当第一次被调用时才执行函数。

*conn.serve()：

    
    
      func (c *conn) serve(ctx context.Context) {
    ...
    // 初始化conn的一些参数
    c.remoteAddr = c.rwc.RemoteAddr().String()
    c.r = &connReader{conn: c}
    c.bufr = newBufioReader(c.r)
    c.bufw = newBufioWriterSize(checkConnErrorWriter{c}, 4<<10)
    for {
        // 读取客户端请求
        w, err := c.readRequest(ctx)
        ...
        // 调用ServeHTTP来处理请求
        serverHandler{c.server}.ServeHTTP(w, w.req)
    }
}

conn.serve是处理客户端连接的核心方法，主要是通过for循环不断循环读取客户端请求，然后根据请求调用相应的处理函数。

c.readRequest(ctx)方法是用来读取客户端的请求，然后返回一个response类型的w和一个错误err

最终是通过serverHandler{c.server}.ServeHTTP(w, w.req) 调用ServeHTTP处理连接客户端发送的请求。

OK，经历了前面监听的过程，现在客户端请求已经拿到了，接下来就是到了核心的处理请求的逻辑了，打起十二分精神哦！🤣🤣

请求处理

serverHandler.ServeHTTP：

上面说到的 serverHandler{c.server}.ServeHTTP(w, w.req) 其实就是下面函数的实现。

    
    
      type serverHandler struct {
    srv *Server
}

func (sh serverHandler) ServeHTTP(rw ResponseWriter, req *Request) {
    handler := sh.srv.Handler
    if handler == nil {
        handler = DefaultServeMux
    }
    if req.RequestURI == "*" && req.Method == "OPTIONS" {
        handler = globalOptionsHandler{}
    }
    ...
    // handler传的是nil就执行 DefaultServeMux.ServeHTTP() 方法
    handler.ServeHTTP(rw, req)
}

获取Server的handler流程：

  1. 1. 先获取 sh.srv.Handler 的值，判断是否为nil

  2. 2. 如果为nil则取全局单例 DefaultServeMux这个handler

  3. 3. PTIONS Method 请求且 URI 是 *，就使用globalOptionsHandler

🚩 注：这个handler其实就是在ListenAndServe()中的第二个参数

ServeMux.ServeHTTP 

    
    
      func (mux *ServeMux) ServeHTTP(w ResponseWriter, r *Request) {
    ....
    h, _ := mux.Handler(r)
    // 执行匹配到的路由的ServeHTTP方法
    h.ServeHTTP(w, r)
}

ServeMux.ServeHTTP()方法主要代码可以分为两步：

  1. 1. 通过 ServerMux.Handler() 方法获取到匹配的处理函数 h

  2. 2. 调用 Handler.ServeHTTP() 执行匹配到该路由的函数来处理请求 (h实现了ServeHTTP方法)

635183f5bb157c6a15c616f0a98b9779.webp

ServerMux.Handler()： 

    
    
      func (mux *ServeMux) Handler(r *Request) (h Handler, pattern string) {
    ...
    //在mux.m和mux.es中
    //根据host/url.path寻找对应的handler
    return mux.handler(host, r.URL.Path)
}

在 ServeMux.Handler() 方法内部，会调用 ServerMux.handler(host, r.URL.Path) 方法来查找匹配的处理函数。

ServeMux.match

ServeMux.match（）方法用于根据给定的具体路径 path 找到最佳匹配的路由，并返回Handler和路径。

值得一提的是，如果 mux.m 中不存在 path 完全匹配的路由时，会继续遍历 mux.es 字段中保存的模糊匹配路由。

    
    
      func (mux *ServeMux) match(path string) (h Handler, pattern string) {
    // 是否完全匹配
    v, ok := mux.m[path]
    if ok {
        return v.h, v.pattern
    }
    // mux.es是按pattern从长到短排列
    for _, e := range mux.es {
        if strings.HasPrefix(path, e.pattern) {
            return e.h, e.pattern
        }
    }
    return nil, ""
}

最后调用 handler.ServeHTTP 方法进行请求的处理和响应，而这个被调用的函数就是我们之前在路由注册时对应的函数。

    
    
      type HandlerFunc func(ResponseWriter, *Request)

func (f HandlerFunc) ServeHTTP(w ResponseWriter, r *Request) {
    f(w, r)
}

到这里整个服务的流程就到这里了，现在有对这块有印象了吗？

关于Client篇的文章会马上更新，敬请期待，希望看完之后会对net/http有个新认识！


推荐阅读


福利
我为大家整理了一份 从入门到进阶的Go学习资料礼包 ，包含学习建议：入门看什么，进阶看什么。 关注公众号 「polarisxu」，回复  ebook  获取；还可以回复「进群」，和数万 Gopher 交流学习。

浏览 23
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
Go标准库 http 与 fasthttp 服务端性能比较
Go编程时光
0
讲透单点登录原理与简单实现
Java架构师社区
0
讲透单点登录原理与简单实现
程序IT圈
0
libc++C++标准库实现
libc++是一个C++标准库实现，突出了标准符合和高效的代码生成。如果C++'0x标准得以批准，l
LLVMSharpLLVM 的 .NET 标准库
LLVMSharp 是一个多平台的 .NET 标准库，用于访问 LLVM 架构。该库使用 Clang
LLVMSharpLLVM 的 .NET 标准库
LLVMSharp是一个多平台的.NET标准库，用于访问LLVM架构。该库使用ClangSharp 解析LLVM-C头文件来自动生成代码。LLVMSharp5.0NuGetPackage for.NE
libc++C++标准库实现
libc++是一个C++标准库实现，突出了标准符合和高效的代码生成。如果C++'0x标准得以批准，libc++也将提供支持。libc++由HowardHinnant开发和维护，目前的完成度为85%。
服务端渲染SSR及实现原理
全栈前端精选
0
一文讲透自适应熔断的原理和实现
GoCN
0
服务端渲染SSR及实现原理
前端Sharing
0
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报