李航老师《统计学习方法》的代码实现、课件、作业等相关资源的最全汇总

编辑 | Will

出品 | 字节AI

李航：毕业于日本京都大学电气电子工程系，日本东京大学获得计算机科学博士学位。1990年至2001年就职于日本NEC 公司中央研究所，任研究员，2001年至2012年就职于微软亚洲研究院，任高级研究员与主任研究员。2012年至2017年就职于华为技术有限公司诺亚方舟实验室，任首席科学家、主任。现任字节跳动科技有限公司人工智能实验室总监，北京大学、南京大学客座教授，IEEE 会士，ACM 杰出科学家，CCF 高级会员。研究方向包括信息检索，自然语言处理，统计机器学习，及数据挖掘。曾出版过三部学术专著，并在顶级国际学术会议和顶级国际学术期刊上发表过120多篇学术论文，拥有40项授权美国专利。

李航老师编写的《统计学习方法》全面系统地介绍了统计学习的主要方法，特别是监督学习方法，包括感知机、k近邻法、朴素贝叶斯法、决策树、逻辑斯谛回归与支持向量机、提升方法、em算法、隐马尔可夫模型和条件随机场等。除第1章概论和最后一章总结外，每章介绍一种方法。叙述从具体问题或实例入手，由浅入深，阐明思路，给出必要的数学推导，便于读者掌握统计学习方法的实质，学会运用。

《统计学习方法》可以说是机器学习的入门宝典，许多机器学习培训班、互联网企业的面试、笔试题目，很多都参考这本书。 

今天我们将李航老师经典的机器学习资源进行汇总，并整理后提供下载。

1. 《统计学习方法》（第二版）

《统计学习方法》第一版于 2012年出版，讲述了统计机器学习方法，主要是一些常用的监督学习方法。第二版增加了一些常用的无监督学习方法，由此本书涵盖了传统统计机器学习方法的主要内容。

第二版课程目录：

第1篇 监督掌习

第1章统计学习及监督学习概论
第2章感知机
第3章k近邻法
第4章朴素贝叶斯法
第5章决策树
第6章逻辑斯谛回归与优选熵模型
第7章支持向量机
第8章提升方法
第9章EM算法及其推广
第10章隐马尔可夫模型
第11章条件随机场
第12章监督学习方法总结
第2篇无监督学习
第13章无监督学习概论
第14章聚类方法
第15章奇异值分解
第16章主成分分析
第17章潜在语义分析
第18章概率潜在语义分析
第19章马尔可夫链蒙特卡罗法

第20章  潜在狄利克雷分配

第21章  PageRank算法

第22章  无监督学习方法总结

    附录A  梯度下降法

    附录B  牛顿法和拟牛顿法

    附录C  拉格朗日对偶性

    附录D  矩阵的基本子空间

    附录E  KL散度的定义和狄利克雷分布的性质

我们可以看到：《统计学习方法（第2版）》分为监督学习和无监督学习两篇，全面系统地介绍了统计学习的主要方法。包括感知机、k近邻法、朴素贝叶斯法、决策树、逻辑斯谛回归与大熵模型、支持向量机、提升方法、EM算法、隐马尔可夫模型和条件随机场，以及聚类方法、奇异值分解、主成分分析、潜在语义分析、概率潜在语义分析、马尔可夫链蒙特卡罗法、潜在狄利克雷分配和PageRank算法等。
《统计学习方法（第2版）》比第一版更全面，而且价格也不高（不到100元还有打折）。这本书是统计机器学习及相关课程的教学参考书，适用于高等院校文本数据挖掘、信息检索及自然语言处理等专业的大学生、研究生，也可供计算机应用等专业的研发人员参考。

出于版权保护，本文不提供电子书下载，请大家购买正版。

2. 《统计学习方法》的代码实现

《统计学习方法》这本书，附件里并没有代码实现，于是许多研究者复现了里面算法的代码，并放在github里分享，这里介绍几个比较热门的《统计学习方法》代码实现的项目：

 

 1）https://github.com/fengdu78/lihang-code （标星：12k+）

这个仓库由黄海广博士整理，已经基本整理完毕（第一版、第二版），仓库的主要内容以Jupyter Notebook格式展现，同时介绍书上的主要算法及公式推导。

2) https://github.com/WenDesi/lihang_book_algorithm （标星：4.4k+）

这个仓库不介绍任何机器学习算法的原理，只是将《统计学习方法》中每一章的算法用我自己的方式实现一遍。除了李航书上的算法外，还实现了一些其他机器学习的算法，这个仓库用Python代码实现。(更新完十二章)

3）https://github.com/Dod-o/Statistical-Learning-Method_Code （标星：5.6k+）

这个仓库力求每行代码都有注释，重要部分注明公式来源。具体会追求下方这样的代码，学习者可以照着公式看程序，让代码有据可查。(更新完十章)

代码截图，注释完整且规范

4）https://github.com/SmirkCao/Lihang （标星：3.6k+）

这个仓库用markdown编写，前十二章更新完毕，后面部分也更新了大部分，没有代码，但是，公式推导相当全。

3. 《统计学习方法》课件

《统计学习方法》第二版的最新课件是由清华大学深圳研究院的袁春教授制作的。我们一起来看看该课件的主要内容。

所有的课件都是 ppt 格式，总共包含 22 章。正好是《统计学习方法》第 2 版的完整内容。

完整版下载见文末！

4. 《统计学习方法》课后习题解答

1）https://github.com/datawhalechina/statistical-learning-method-solutions-manual

这个仓库主要完成了该书（第一版）的全部习题，并提供代码和运行之后的截图，里面的内容是以统计学习方法的内容为前置知识，该习题解答的最佳使用方法是以李航老师的《统计学习方法》为主线，并尝试完成课后习题，如果遇到不会的，再来查阅习题解答。

由于习题解答中需要有程序和执行结果，采用jupyter notebook的格式进行编写（文件路径：notebook/notes），然后将其导出成markdown格式，再覆盖到docs对应的章节下。

内容截图：

内容截图

资源获取

本文搜集了李航老师的《统计学习方法》的相关资源。

以上资源我们已经打包整理完毕！需要的可以按照以下方式获取：

扫码关注我们的公众号，回复“lihang”获取下载链接。