终于有人把大数定律讲明白了
导读:在一些情况下,概率是由频率推导而来的,要得到可信的概率,就要大量重复地试验。而且,重复试验的次数越多,结论就越让人信服。那么,为何人们直觉上更愿意相信从大数据中得到的统计结果,而不是从小数据中得到的经验呢?
作者:徐晟
来源:大数据DT(ID:hzdashuju)
01 大数定律的概念和意义
要解释这一现象,统计学中有一个非常重要的理论——大数定律。该定律表明,样本数量越多,结论就越接近真实的概率分布。也就是说,在重复的试验中,随着试验次数不断增加,事件发生的频率会越来越趋于一个稳定的数值,即它的概率。
大数定律最早是由数学家伯努利在他的《推测术》中提出的。该书由4个部分组成,前3部分主要是对古典概率的系统性阐述,第4部分是这本书的精华,主要探讨了概率论在社会、道德和经济领域的应用,其中就提到了大数定律以及它的证明过程。
只有基于大量的统计数据,才能得到更为准确的统计结果。这个结论虽然直觉上好理解,但以前没有人证明过它。
伯努利的伟大之处就在于,他用数学严格证明和解释了这个直觉经验:只要通过大量试验,人们观察得到的频率和实际的概率之间的差距就会越来越小,而且只要重复次数足够多,这个误差就能够小于任意小的正数。这也是概率论历史上第一个极限定理。
由伯努利首先研究并推广的大数定律,已经成为整个统计学的基础。随后经过几百年的发展,大数定律的理论体系被不断完善,切比雪夫、辛钦、泊松、马尔可夫等一系列大数定理被提出和证明,它们都是基于大数定律的某种数学表达。
不过,人们仍然对伯努利大数定律的哲学意义给出了很高的评价。伯努利自己在《推测术》的最后说道:如果我们能把一切事件永恒地观察下去,那么我们终将发现,世间的一切事物都受到因果律的支配,而我们注定会在种种极其杂乱的现象中认识到某种必然。
大数定律告诉我们,随机事件重复发生后,其可能性结果会趋于一种稳定的状态。它揭示了随机事件发生频率的长期稳定性,体现了偶然之中包含的一种必然。
大数定律已经广泛应用到宏观经济学、量子热力学、空气动力学等各个领域。
生活中很多地方也能看到它的身影。比如你想换部手机,于是在网上搜索手机的相关信息,突然发现一个人对某品牌型号的手机赞不绝口,这时你该怎么做?轻易地相信对方?或选择再看看别人的评价?大数定律的建议是,如果评论人数很少,这些评论就不能很好地反映商品的真实价值。
那些在网站上排名靠前、评价极高的商品、视频、资讯,可能只是因为有少数人给出了极高的分数,或是商业广告推荐。它们仅仅是个案。只有参考大部分人的评价,才更接近真实情况,数据结论才更有价值。
02 蒙特卡洛方法
今天被人们经常提及和用到的蒙特卡洛方法,其理论依据就是大数定律。
蒙特卡洛方法是由数学家冯·诺伊曼、乌拉姆等人最早发明的,也称统计模拟方法。蒙特卡洛不是人名,而是摩纳哥的一座城市,它是世界上著名的赌城。蒙特卡洛方法是一种基于概率的计算方法,它将求解问题和概率模型关联起来,不断从总体中抽取随机样本,通过模拟和计算得到近似解。此方法随着计算机技术的发展被迅速普及。
蒙特卡洛方法的原理很朴实,简单来说就是不断抽样,逐渐逼近。比如要计算圆周率π,可以先让计算机模拟一个正方形和里面的一个圆,如图1-2所示。
▲图1-2 用蒙特卡洛方法计算圆周率示意图
随后让计算机不断模拟向正方形中随机地“撒点”。统计落在圆内的点的数量和所有正方形中点的数量的比值,并将它近似看成是圆形和正方形的面积的比值,即π/4。只要模拟数据点足够多,就能近似计算出圆周率π。模拟的数据越多,计算结果就越逼近真正的π值。
蒙特卡洛方法别看原理简单,其实使用起来相当灵活。它能用于很多需要“枚举”的算法,比如下围棋、走迷宫,或计算任何不规则几何图形的面积。