灵魂拷问：你写的SQL一般有几个join ？
共 3317字，需浏览 7分钟
·
2022-01-08 23:41
面试官：有操作过Linux吗?
我：有的呀
我：那，如下图所示 可以看到内存以及缓存的使用情况
面试官：那你知道怎么清理已使用的缓存吗(buff/cache)
我：em… 不知道
面试官：sync; echo 3 > /proc/sys/vm/drop_caches就可以清理buff/cache了，你说说我在线上执行这条命令做好不好?
我：(送分题,内心大喜) 好处大大的有，清理出缓存我们就有更多可用的内存空间, 就跟pc上面xx卫士的小火箭一样，点一下，就释放出好多的内存
面试官：em…., 回去等通知吧，搜索公众号互联网架构师回复“2T”，送你一份惊喜礼包。
再谈SQL Join
回顾
SQL中的join可以根据某些条件把指定的表给结合起来并将数据返回给客户端
join的方式有
搜索公众号互联网架构师回复“2T”，送你一份惊喜礼包。
缓冲区
我: 在执行join语句的时候必然要有一个比较的过程
面试官: 是的
如图所示join_buffer_size的大小将会影响我们join语句的执行性能
面试官: 除此之外呢?
一个大前提
我：任何项目终究要上线，不可避免的要产生数据，数据的规模又不可能太小
面试官: 是这样的
我：大部分数据库中的数据最终要保存到硬盘上,并且以文件的形式进行存储。
以MySQL的InnoDB引擎为例
我：这意味着我们有多少表要连接就需要读多少个文件，虽然可以利用索引，但还是免不了频繁的移动硬盘的磁头，搜索公众号互联网架构师回复“2T”，送你一份惊喜礼包。
我：是的，现在的开源框架不都喜欢说自己通过顺序读写大大的提升了性能吗，比如hbase、kafka
面试官：说的没错，那你认为Linux有对此做出优化吗?提示，你可以再执行一次free命令看一下
我：奇怪缓存怎么占用了1.2G多
面试官：你有没有想过
buff/cache 里面存的是什么？ 为什么buff/cache 占了那么多内存，可用内存即availlable还有1.1G？ 为什么你可以通过两条命令来清理buff/cache占用的内存，而想要释放used只能通过结束进程来实现?
我：这么随便就释放了buff/cache所占用的内存，说明它就不重要, 清除它不会对系统的运行造成影响
我：难道是？想起来《CSAPP》（深入理解计算机系统）里面说过一句话
存储器层次结构的本质是，每一层存储设备都是较低一层设备的缓存
通俗来说，就是说Linux会把内存当作是硬盘的高速缓存
面试官：现在知道那道送分题应该怎么回答了吧
我：我….
Join算法
面试官：再给你个机会，如果让你来实现Join算法你会怎么做?
我：无索引的话,嵌套循环就完事了嗷。有索引的话，则可以利用索引来提升性能.
面试官：说回join_buffer 你认为join_buffer里面存储的是什么?
我：在扫描过程中，数据库会选择一个表把他要返回以及需要进行和其他表进行比较的数据放进join_buffer
我：这个就比较简单了，直接读取两个表的索引树进行比较就完事了嗷，我这边介绍一下无索引的处理方式
嵌套循环，每次只读取表中的一行数据，也就是说如果outerTable有10万行数据, innerTable有100行数据，需要读取10000000次(假设这两个表的文件没有被操作系统给缓存到内存, 我们称之为冷数据表)，搜索公众号互联网架构师回复“2T”，送你一份惊喜礼包。
当然现在没啥数据库引擎使用这种算法（太慢了)
Block 块，也就是说每次都会取一块数据到内存以减少I/O的开销
当没有索引可以使用的时候，MySQL InnoDB 就会使用这种算法
考虑以下两个表 t_a 和t_b
总结
上学时，数据库老师最喜欢考数据库范式，直到上班才学会一切以性能为准，能冗余就冗余，实在冗余不了的就join如果join真的影响到性能。试着调大你的join_buffer_size, 或者换固态硬盘。
参考资料
《深入理解计算机系统》- 第6章 存储器层次结构
《Experiments and fun with the Linux disk cache》作者通过几个例子来说明硬盘缓存对程序执行性能的影响
《Linux ate my ram》 Free参数的解释
How to clear the buffer/pagecache (disk cache) under Linux 文章开头送分题命令的解释
MySQL 是怎样运行的：从根儿上理解 MySQL
Block bested loop 来自MariaDB官方文档解释了Block-Nested-Loop算法的实现
正文结束
1.心态崩了！税前2万4，到手1万4，年终奖扣税方式1月1日起施行~
