大數(shù)定律和中心極限定理

大數(shù)定律

大數(shù)定律，有很多種形式，但其本質(zhì)都離不開依概率收斂這個(gè)定義，下面一一介紹。

伯努利大數(shù)定律

顧名思義，它和伯努利試驗(yàn)可能有關(guān)，一般描述如下：

設(shè) 是 重伯努利試驗(yàn)中事件 發(fā)生的次數(shù)， 是每次試驗(yàn)中事件 發(fā)生的概率，則對任意的 ，有：

這是一個(gè)需要證明的定理，它非常類似于依概率收斂的定義。

相當(dāng)于這里是需要證明隨機(jī)變量序列 依概率收斂于常數(shù) 。雖然前面說到過，從試驗(yàn)角度看，它是一個(gè)事實(shí)，但這里仍然需要證明，這種形式(一個(gè)隨機(jī)變量與一個(gè)常數(shù)的偏差概率的上界)，很類似于切比雪夫不等式，因此使用切比雪夫不等式證明，先求期望和方差：

隨機(jī)變量序列 是 重伯努利試驗(yàn)的中感興趣的事件發(fā)生的次數(shù)，它正是二項(xiàng)分布的定義，所以有 ，才會(huì)有上面期望方差的推導(dǎo)，于是：

這是由切比雪夫不等式得到的，然后取極限，，可以知道：

所以有

概率的最大值都是 ，所以這里的上面的定理成立。

伯努利大數(shù)定律說明了，一個(gè)服從二項(xiàng)分布的隨機(jī)變量 ，所產(chǎn)生的頻率序列 ，隨著 的增加，和“概率 的偏差絕對值大于預(yù)先給定的精度 ”，這件事發(fā)生的可能性越來越小。

嚴(yán)格地不能說，序列 收斂于概率 。但不太專業(yè)地說，頻率序列 隨著試驗(yàn)次數(shù) 的增加，會(huì)越來越接近于概率 ， 這是沒問題的。

伯努利大數(shù)定律，提供了使用頻率確定概率的理論依據(jù)。當(dāng)試驗(yàn)次數(shù) 足夠大時(shí)，可以將頻率作為概率的估計(jì)值，試驗(yàn)次數(shù)越多，頻率越穩(wěn)定地趨于概率。

伯努利大數(shù)定律，描述了二項(xiàng)分布 的頻率序列 依概率收斂事件發(fā)生的概率 。

其實(shí)，它可以看成是一系列 個(gè)相互獨(dú)立的，服從兩點(diǎn)分布的隨機(jī)變量， 的平均值 ，即頻率序列：

依概率收斂于 ，也即是頻率序列的均值：

于是伯努利大數(shù)定律，可以表述為下面的形式，設(shè) 是一列服從兩點(diǎn)分布 的相互獨(dú)立的隨機(jī)變量，則必然有：

一般地，將，滿足上面的表達(dá)式的隨機(jī)變量序列 ，稱為 服從大數(shù)定律。

也就是說，伯努利大數(shù)定律是大數(shù)定律的一個(gè)特例，它給定了限制條件 是服從兩點(diǎn)分布的，下面就討論，在什么樣的條件下，隨機(jī)變量序列 滿足大數(shù)定律。

切比雪夫大數(shù)定律

設(shè)隨機(jī)變量 兩兩不相關(guān)，且每個(gè)隨機(jī)變量 方差存在，都有共同的上界，，于是 服從大數(shù)定律，即 ，都有：

同樣是使用切比雪夫不等式證明，對隨機(jī)變量 ，有：

這里使用了相互獨(dú)立的性質(zhì)，方差得以拆開，后面就是取極限的事情了。

切比雪夫大數(shù)定律，比伯努利大數(shù)定律放寬了條件，只要求隨機(jī)變量序列兩兩不相關(guān)，且方差存在上限即可。實(shí)際上，只需要滿足條件：

這個(gè)條件也被稱為，馬爾可夫條件，只要這個(gè)條件成立了，那么隨機(jī)變量序列，就服從大數(shù)定律，這樣子的大數(shù)定律稱為馬爾可夫大數(shù)定律。

它比切比雪夫大數(shù)定律的條件還要寬松，不需要滿足隨機(jī)變量 之間兩兩相互獨(dú)立的條件，但是它們有一個(gè)共同點(diǎn)，都是假設(shè)方差存在。

下面的辛欽大數(shù)定律去掉了這個(gè)假設(shè)，同時(shí)加上了一個(gè)很強(qiáng)的假設(shè)條件——獨(dú)立同分布且期望存在。

辛欽大數(shù)定律

設(shè) 是獨(dú)立同分布的隨機(jī)變量序列，若 的數(shù)學(xué)期望存在，則 服從大數(shù)定律，滿足這種條件的大數(shù)定律稱為辛欽大數(shù)定律。

下面給出證明過程：

現(xiàn)在不能使用切比雪夫不等式證明了，因?yàn)榉讲畈灰欢ù嬖凇?/p>

為了證明上面的式子成立，不妨設(shè) ，而 是一個(gè)常數(shù)，不妨設(shè)為 。

于是需要證明的是隨機(jī)變量序列 依概率收斂到常數(shù) ，這個(gè)的充要條件是 依分布收斂到 。

也就是說， 的分布函數(shù)序列收斂于 的分布函數(shù)(退化分布)，也就是說， 的特征函數(shù)收斂到 的特征函數(shù) ，這就是證明的思路，下面給出推導(dǎo)過程：

設(shè) 的特征函數(shù)為 ，則相互獨(dú)立的，隨機(jī)變量之和的分布的特征函數(shù)為為 ，于是它們的均值 的特征函數(shù)為 ，下面求極限：

這里使用了 ， 以及 這個(gè)兩個(gè)事實(shí)，所以上面的極限剛好是退化分布 的特征函數(shù)，這就證明了辛欽大數(shù)定律。

需要注意的是，其中的洛必達(dá)求導(dǎo)是對 求導(dǎo)，所以不能遺漏了 。

辛欽大數(shù)定律告訴我們，只要一個(gè)隨機(jī)變量序列 是獨(dú)立同分布的，那么隨機(jī)變量序列 就會(huì)依概率收斂到它的均值 。

這就為后面使用樣本均值作為總體均值的一個(gè)估計(jì)提供了理論依據(jù)，不僅如此，若 的 階距離 存在，則 也服從大數(shù)定律。

也就是說，可以使用樣本 階距 作為 的一個(gè)估計(jì)值。因?yàn)? 獨(dú)立同分布，則 也是獨(dú)立同分布的，使用辛欽大數(shù)定律即可得到相關(guān)結(jié)論。

定積分計(jì)算的兩種數(shù)值模擬思想

設(shè) ，求 在 上的定積分：

類似這種定積分的數(shù)值計(jì)算，思想大致有兩種。

第一種是隨機(jī)撒點(diǎn)法，也叫隨機(jī)投點(diǎn)法，另一種思想是平均值法，這種思想的不同也導(dǎo)致了算法的不同，而對應(yīng)的兩種算法，在計(jì)算機(jī)上都可稱為蒙特卡洛隨機(jī)模擬。

想法很簡單，只需要意識(shí)到，定積分的幾何意義即可，它的幾何意義是由直線 (積分上下限) 和曲線 以及 (X軸)圍成的面積的代數(shù)和。

這里就假設(shè) ，函數(shù)值在積分區(qū)間內(nèi)。大于零，是為了將代數(shù)和去掉，幾何意義直接是面積。而小于 ，是為了方便在區(qū)間 上隨機(jī)模擬。

那么現(xiàn)在如何求解它的面積呢？一般的思路是在區(qū)域

上隨機(jī)撒點(diǎn)，當(dāng)隨機(jī)點(diǎn)的 坐標(biāo)，小于等于 時(shí)，作為有效計(jì)數(shù) ，并累加，那么最后的計(jì)數(shù)結(jié)果和撒點(diǎn)的次數(shù) 的比值，就是定積分的隨機(jī)模擬估計(jì)值。

當(dāng)撒點(diǎn)的個(gè)數(shù)足夠多時(shí)，小于等于 的點(diǎn)構(gòu)成了密密麻麻的“面積”，這就是定積分的幾何含義的體現(xiàn)，比值為真正的定積分。

這就是蒙特卡洛隨機(jī)模擬的方法應(yīng)用，它的思想就是“撒點(diǎn)”，利用計(jì)算機(jī)，進(jìn)行高效快速的模擬，計(jì)數(shù)，計(jì)算比值，這也叫做隨機(jī)投點(diǎn)法。

現(xiàn)在的問題是，上面這種想法如何使用概率的語言描述。找到了這種描述，就為這種方法的正確實(shí)現(xiàn)提供了依據(jù)。

當(dāng)然有，在區(qū)域 中隨機(jī)撒點(diǎn)，在概率中表示為兩個(gè)隨機(jī)變量 在區(qū)域 上服從均勻分布，而上面的定積分又可以通過二重積分表示如下：，它在概率中又表示什么呢？

它表示概率 ，而這個(gè)概率正是曲線下方的點(diǎn)個(gè)數(shù)的計(jì)數(shù)值與整個(gè)撒點(diǎn)個(gè)數(shù)的比值。

這就聯(lián)系起來了，依據(jù)也有了。下面就使用計(jì)算機(jī)軟件，作統(tǒng)計(jì)計(jì)算。

取值為 之間的函數(shù) ，不妨就求標(biāo)準(zhǔn)正態(tài)分布的概率密度在 上的定積分(它滿足函數(shù)值在區(qū)間 的條件)，該定積分就是 。若不查表，此處的 是無法得知的，要求解的定積分表達(dá)式如下：

這種積分形式，解析解是無法直接計(jì)算的，只能借助于計(jì)算機(jī)求解數(shù)值解，下面使用stata軟件中的數(shù)值模擬方法便是求數(shù)值解的一個(gè)途徑，具體結(jié)果見表8.1。

首先，給出， 的較為精確結(jié)果為。你會(huì)發(fā)現(xiàn)，隨著模擬次數(shù)的增加，數(shù)值解的精確度越來越高，即撒點(diǎn)的個(gè)數(shù)越多，計(jì)算的結(jié)果越精確的。

上面的要求的函數(shù)必須滿足：，要是不滿足呢？

很多函數(shù)的取值并不是限制在 ，這很好辦，先將它作最大值——最小值變換，將函數(shù)值映射在 區(qū)間上，后面對數(shù)值解的結(jié)果作逆變換，換回來計(jì)算精確結(jié)果即可。

上面的假設(shè)條件中還需要，滿足積分區(qū)間為：，有些積分區(qū)間不是它呢？還是需要作變換，具體如下：

假設(shè) ，且積分區(qū)間為 ，則要求的是 ，那么先將積分區(qū)間變成 ，令 ，于是有：

又可以，作變換   使得 ，所以相應(yīng)地恒等變換，應(yīng)用到上面的積分中有：

這就是要求解的定積分，而計(jì)算機(jī)能隨機(jī)模擬的部分就是：。

還是上面那個(gè)積分，使用另一種想法來求解——平均值法，設(shè) ，那么隨機(jī)變量 ，的期望為：

這說明要求解的積分正是， 的期望。

那么現(xiàn)在的問題是如何求解它的期望呢？

使用樣本均值估計(jì)總體均值(期望)的思想。只需要抽取一個(gè)容量較大的樣本，計(jì)算它的樣本均值，，作為總體均值的估計(jì)量。

這是另一種思想，對于計(jì)算機(jī)來說，就是另一種算法了，也是蒙特卡羅模擬思想下的一種算法。

還是上面的正態(tài)分布例子，下面就以這種樣本均值作為總體均值估計(jì)量思想，來作數(shù)值估計(jì)，得到的結(jié)果見表8.2。

兩種算法的對比，可以發(fā)現(xiàn)，在這種大樣本下，以樣本均值估計(jì)總體均值這種思想，精度略高于隨機(jī)撒點(diǎn)的方式。

中心極限定理

中心極限定理討論的是隨機(jī)變量序列 的和標(biāo)準(zhǔn)化之后的分布，會(huì)收斂于什么分布？答案是會(huì)收斂于標(biāo)準(zhǔn)正態(tài)分布。

但是是有條件的，下面就重點(diǎn)討論這些條件下的收斂分布。

設(shè) 是一列相互獨(dú)立同分布的隨機(jī)變量，且期望 和方差 存在，記隨機(jī)變量序列

依分布收斂于某個(gè)標(biāo)準(zhǔn)正態(tài)分布的隨機(jī)變量，即對任意的實(shí)數(shù) ，有：

這稱為獨(dú)立同分布下的中心極限定理(林德伯格-萊維中心極限定理)，也可以記為 ，此處的符號是漸近分布的含義。

這是一個(gè)依分布收斂的例子，和大數(shù)定律不同。一般不考慮 序列，是因?yàn)樗木岛推谕赡懿淮嬖?，但是?biāo)準(zhǔn)化后的期望和方差一定存在。

這里要說明的是期望和方差不存在，是當(dāng) 的條件下，可能不會(huì)存在，盡管 的方差和期望是存在的。當(dāng)然要是存在，也可以通過標(biāo)準(zhǔn)化變換的逆過程，得到 序列 的極限分布。

下面給出證明過程，雖然，定理表達(dá)的是它依分布收斂到某一個(gè)服從標(biāo)準(zhǔn)正態(tài)分布的隨機(jī)變量而不是一個(gè)常數(shù)，所以它不能使用依概率收斂的方式來證明。

我們需要證明隨機(jī)變量序列 依分布收斂到 也就是說，隨機(jī)變量序列 的特征函數(shù)序列 收斂于標(biāo)準(zhǔn)正態(tài)分布的特征函數(shù) ，當(dāng) 。

為了方便運(yùn)算，假設(shè)隨機(jī)變量 的特征函數(shù)為 ，那么有：

那么下面的證明過程，和證明辛欽大數(shù)定律的過程是類似的。

中心極限定理，作用非常大，應(yīng)用非常廣，聯(lián)系上分布的可加性，有下面的一些常用結(jié)論：

• ，

特別地，當(dāng) 時(shí)，有：，其中的 。

也就是說， 表示 重伯努利試驗(yàn)中某個(gè)感興趣的事件發(fā)生的次數(shù)， 是每次試驗(yàn)中它發(fā)生的概率。這也被稱為二項(xiàng)分布的正態(tài)近似。

很明顯 ，它標(biāo)準(zhǔn)化后的隨機(jī)變量，近似服從標(biāo)準(zhǔn)正態(tài)分布，當(dāng) 充分大時(shí)。這種二項(xiàng)分布的特殊情況下的中心極限定理，又稱為棣莫弗——拉普拉斯中心極限定理(De Movivre-Laplace)。

因?yàn)?，二?xiàng)分布是離散型分布，為了提高二項(xiàng)分布的正態(tài)近似精度，考慮對公式進(jìn)行修正：

左右各移動(dòng) 個(gè)單位。

• ，則：

其實(shí)這里的 就是自由度為 的卡方分布(伽馬分布的可加性)。

仿照二項(xiàng)分布的正態(tài)近似的說法，這個(gè)性質(zhì)也可稱為卡方分布的隨機(jī)變量標(biāo)準(zhǔn)化后具有正態(tài)近似性?？ǚ椒植? 當(dāng) 充分大時(shí)， 標(biāo)準(zhǔn)化后的隨機(jī)變量，近似服從標(biāo)準(zhǔn)正態(tài)分布。

• ，則：

特別地，當(dāng) 時(shí)，這里的 服從參數(shù)為 的泊松分布(泊松分布的可加性)。

以上也可稱為泊松分布的正態(tài)近似，泊松分布的隨機(jī)變量 當(dāng) 充分大時(shí)， 標(biāo)準(zhǔn)化后的隨機(jī)變量，近似服從標(biāo)準(zhǔn)正態(tài)分布。

下面的定理說明了，在獨(dú)立但是不同分布的情況下，隨機(jī)變量序列 的前 項(xiàng)之和的標(biāo)準(zhǔn)化后的隨機(jī)變量序列依分布收斂到某個(gè)標(biāo)準(zhǔn)正態(tài)分布的隨機(jī)變量。

設(shè) 為相互獨(dú)立的隨機(jī)變量序列，若存在 ，使得：

其中的 ，則對任意的實(shí)數(shù) ，有：

下面以圖形來表達(dá)上面幾個(gè)結(jié)論。

從圖8.1可以看到，二項(xiàng)分布列隨著 的增加，圖形的對稱性應(yīng)該是越來越好的(這里沒有，是因?yàn)閰?shù) 本身二項(xiàng)分布就是對稱的)。

而且圖形越來越接近正態(tài)分布的形狀，標(biāo)準(zhǔn)化后的隨機(jī)變量是服從標(biāo)準(zhǔn)正態(tài)分布了，那么未標(biāo)準(zhǔn)化的隨機(jī)變量也是近似服從正態(tài)分布的，下面的圖形中同理。

從圖8.2可知，泊松分布是右偏的，隨著參數(shù) 的增加，圖形的右偏性逐漸減小，趨于對稱分布了。

而且越來越和正態(tài)分布接近了，且正態(tài)分布的均值也隨著 的增加而增加。

從圖8.3中可見，作為連續(xù)型分布的卡方分布，隨著自由度 的增加，分布形狀由右偏逐漸趨于對稱，逐漸接近某個(gè)正態(tài)分布的概率密度，峰值也逐漸減小。