20年经典传承 | 强化学习圣经，开创性的奠基之作！

We are most pleased that Professor Kai Yu has produced this Chinese translation of our textbook, which we hope will enable more Chinese students to self-study reinforcement learning and lead to the development of new ideas within China that contribute to the diversity and vigour of worldwide reinforcement learning research.

——Richard Sutton and Andrew Barto

我们非常高兴俞凯教授将我们的教材翻译成中文，希望这本教材能够帮助更多的中国学生自学强化学习，并且促进更多的新思想在中国产生，为世界范围的强化学习研究的多样性和生机活力做出贡献。

——理查德萨顿　安德鲁巴图

一代又一代的强化学习研究人员都是在萨顿和巴图的第1版书的启发下成长起来的。新老读者都将从第2版中受益：这一新版本大大扩展了覆盖的主题范围（新主题包括人工神经网络、蒙特卡洛树搜索、平均收益大化以及关于强化学习的经典应用和新应用的章节），不仅增加了内容的广度，同时作者也在尝试用更加简洁的符号理清这些繁杂主题的各个方面，从而增加讲解的深度。此外，新版本保留了解释的简洁性和直观性，使各种背景的读者都能使用本书。总之，这是一本很棒的书，我衷心推荐给那些对使用、开发或理解强化学习感兴趣的人。

——乔鲍塞派什瓦里（Csaba Szepesvari）  DeepMind研究科学家，阿尔伯塔大学计算机科学教授

　　
　　
本书仍然是关于强化学习的开创性教材——强化学习作为日益重要的技术，是当今许多先进的人工智能系统背后的技术基础。本书是任何对人工智能科学抱有真正兴趣的人的必读书。

——杰米斯哈萨比斯（Demis Hassabis）  DeepMind联合创始人兼首席执行官

强化学习是极具发展前景的重要机器学习范式。

近年来通过与深度学习的结合，强化学习在棋类游戏、机器人控制和人机对话等领域的重大进展使得人们对它在人工智能未来发展中的作用极为关注和期待。

本书是深入理解强化学习基本概念和算法的经典之作，也是迄今为止系统完整地描述强化学习领域的教材。俞凯教授是将深度强化学习成功用于人机对话系统的优秀研究者，具有丰富的强化学习和深度学习的实践经验。

现在他将《强化学习》(第 2 版) 的这本英文原著的思想和内容以符合中国人理解习惯的方式进行了翻译，忠于原著而又行文流畅，对促进强化学习在中国的研究和应用具有很大的价值。

——邓力  美国城堡基金首席人工智能官 (Chief AI Offiffifficer)  美国微软公司原首席人工智能科学家

强化学习是 AlphaGo 采用的主要技术，也是人工智能的主流领域之一。本书是所有想要深入了解强化学习的有志之士必读的经典。作者用严谨又深入浅出的方式建构起强化学习的核心理论，并附以大量的实例帮助读者理解。我衷心推荐这本好书给大家。

——黃士傑(Aja Huang)  AlphaGo首席工程师(Lead Programmer of AlphaGo)

这本书是强化学习的圣经。该领域正蓬勃发展，新版的出版正当其时。任何对学习决策问题感兴趣的人——学生、研究者、实践者或者其他感兴趣的非专业人士都应该拥有它。

——佩德罗多明戈斯（Pedro Domingos）  华盛顿大学计算机科学教授，《终ji算法》作者

强化学习是人工智能领域的一颗明珠。本书是强化学习领军人物 Richad Sutton 所写的经典教材，不仅系统介绍了强化学习算法，讨论了强化学习和心理学及神经科学的关系，而且包括了强化学习和深度学习结合的新进展与应用。感谢俞凯等人的翻译，感谢电子工业出版社的工作，把这本好书介绍给国内的读者们。强烈推荐！

—— 漆远  蚂蚁金服副总裁，首席 AI 科学家

我向所有想了解这个日益重要的机器学习分支的人推荐萨顿和巴图的新版《强化学习》这一经典著作。该第2版扩展了广为流行的第一版的内容，涵盖了当今的关键算法和理论，并以真实世界的应用为例讲解了这些概念——从学习如何控制机器人，到如何编写一个击败人类围棋世界冠军的程序。此外，第2版还讨论了这些计算机算法与心理学和神经科学中关于人类学习规律的研究成果之间的本质性联系。

——汤姆米切尔（Tom Mitchell）  卡内基梅隆大学计算机科学教授

记得在2018年的IJCAI大会上， 我作为国际人工智能联合会的理事会主席给 Andrew Barto 教授颁发2018年杰出研究贡献奖（Research Excellence Award)。这个奖每年颁发给一位长期在人工智能界探索并做出杰出贡献的科学家。我当时问Barto教授，看到现在AlphaGo和AlphaZero凭强化学习横扫围棋界，有什么感受？他说，一直到现在退休，强化学习都是小众研究领域。现在虽然已退休，但赶上AlphaGo/AlphaZero的成功，还是很感慨的！

在人工智能界，Richard Sutton（Barto的学生）和 Andrew Barto 是公认的强化学习的鼻祖，是他们师徒把强化学习作为一个机器学习的重要分支，搬上大雅之堂。这部《强化学习》（第2版）也凝聚了他们的心血。如文中所述，强化学习模拟人类学习的策略，利用积累的经验来改进决策系统的性能，就像国际象棋大师的走子一样，其是通过反复考虑对手可能的反应而进行多步的判断来给出的。这些观察通过用数学，特别是概率论对智能体、对手和环境进行简练的表达，可以解释如何通过不断的训练，逐步提高智能体的能力。

全书对读者的机器学习背景没有做太多的假设，从头娓娓道来，不仅把强化学习重要的理念讲得极为清晰，而且细致回顾了一些强化学习背后的科学家的小故事，生动活泼。同时，书中也不时地指出脑科学的新发现对强化学习研究的启迪，让读者从多学科的角度得到全面的知识。书中还有无数的小例子，用以帮助读者理解复杂的概念，比如井字棋游戏。此外，书中引用新的人工智能进展，对强化学习的经典算法（如蒙特卡洛搜索树算法）加以系统的解释，让读者理解这些算法如何应用在著名的IBM的WATSON系统和AlphaGo/AlphaZero系统中。

中文版特别值得一提的是上海交通大学俞凯教授及其团队所做的高质量的中文翻译。本书的翻译涉及众多强化学习概念的首次中文翻译，这需要译者同时具有深厚的机器学习和翻译功底。毫不夸张地说，中文版的面世为机器学习领域的中国学者和学生架起了一座通往强化学习经典知识宝库的桥梁。

——杨强  前海微众银行首席人工智能官，香港科技大学讲座教授  国际人工智能联合会理事会主席（2017―2019）

萨顿和巴图合著的第2版《强化学习》的出版正当其时。这个领域在过去20年里发生了巨大的变化，机器学习研究人员对强化学习的兴趣从来没有像现在这样强烈。如果你想完整理解智能体学习的基本原理，你可以从这本教科书开始。第2版包括了许多深度强化学习的新进展，同时也将该领域的学术历史延伸到了当前。我肯定会把它推荐给我所有的学生，以及其他想了解当前强化学习热潮的来龙去脉的研究生和科研人员。

——约舒亚本吉奥（Yoshua Bengio）  蒙特利尔大学计算机科学与运筹学教授

《强化学习》(第 2 版)旨在描述强化学习的核心概念与算法，以供所有相关学科的读者学习。本书不仅包含机器学习、神经网络等人工智能诸多方面的内容，还涉及心理学与神经科学等内容，新概念、新词汇很多，给翻译带来一定的困难。严复提出翻译要做到“信、达、雅”，这部译著达到了这些要求，即准确、通顺与自然，感谢译者的努力与付出。我愿推荐此译著给广大对人工智能感兴趣的中国读者。

——张钹  中国科学院院士，清华大学人工智能研究院院长

第1版出版20年后，Sutton和Barto的这本经典教科书终于出了第2版，篇幅约为第1版的两倍，增加了AlphaGo围棋等许多新内容，值得所有关心强化学习的读者阅读收藏。

——周志华  南京大学计算机系主任/人工智能学院院长，欧洲科学院外籍院士！