一个隐秘在角度的bug-轻识

前几天一直被一个bug 困扰着，代码是一段requests请求url读取html内容的代码，每次程序启动大约运行几十个小时后，就开始报错MemoryError。

把核心代码提出来就一行代码

r = requests.get('https://xxxx')

错误堆栈日志大概是这样的

  File "***.py", line 644, in post
    r = s.post(url, data=content, params=params, files=files, headers=headers)
  File "/usr/local/lib/python3.7/dist-packages/requests/sessions.py", line 424, in post
    return self.request('POST', url, data=data, **kwargs)
  File "/usr/local/lib/python3.7/dist-packages/requests_cache/core.py", line 110, in request
    hooks, stream, verify, cert)
  File "/usr/local/lib/python3.7/dist-packages/requests/sessions.py", line 348, in request
    prep = self.prepare_request(req)
  File "/usr/local/lib/python3.7/dist-packages/requests/sessions.py", line 286, in prepare_request
    hooks=merge_hooks(request.hooks, self.hooks),
  File "/usr/local/lib/python3.7/dist-packages/requests/models.py", line 289, in prepare
    self.prepare_body(data, files)
  File "/usr/local/lib/python32.7/dist-packages/requests/models.py", line 426, in prepare_body
    (body, content_type) = self._encode_files(files, data)
  File "/usr/local/lib/python3.7/dist-packages/requests/models.py", line 144, in _encode_files
    body, content_type = encode_multipart_formdata(new_fields)
  File "/usr/local/lib/python3.7/dist-packages/requests/packages/urllib3/filepost.py", line 101, in encode_multipart_formdata
    return body.getvalue(), content_type
MemoryError

错误提示很明显，应该是内存不足导致的

平时很少会遇到这个问题，估计你们也不怎么会遇到，除非确实是处理超大文件

我的排查思路是这样的

首先确定是不是我的系统真的内存不足了，然后就跑过去查看任务管理器，16G的内存，才使用了60%多点，应该说内存还是非常充足的。

接着又去分析是不是请求返回的数据非常大导致的，验证后不存在这个问题，因为请求的最大数据最大也就几百KB。

然后又把程序稍微优化了一下，看看是不是每次请求完之后资源没释放

with requests.Session() as s:
    s.get('https://xxxx')

改成with上下文处理，请求结束后会自动关闭请求连接。

经过一段时间的观察，然而并没什么卵用，问题依然存在

这个时候用Google、StackOverflow也找到合适的答案。

按照武侠小说剧情发展的话，在你最孤独最无助时，主角就会有灵光乍现的时刻。

无意间发现系统安装的Python3.7 是32位，当初安装的时候也没注意太多。

32位系统使用32位地址线的最大寻址空间为2的32次方bytes，计算后即4294967296 Bytes，也就是我们常说的4096MB，32位地址线的寻址空间封顶即为4GB。虽然我的系统是64位，但是python这个程序安装的是32位，通常应用程序占用内存不能超过2GB以上，如果超过就会发生内存溢出现象。

最后把Python升级到64位问题完美解决，持续运行了几天依然没有报错。

总结：

很多时候，我们遇到某些看似像灵异事件的bug，其实都是我们在平时编码过程中的没注意细节埋下的坑，魔鬼在细节。