 |
 |
 |
 |
 |
 |
||
 |
 |
 |
 |
 |
| 1 | 1/1 | 返回列表 |
| 查看: 801 | 回復: 0 | |||
[交流]
【轉(zhuǎn)帖】點評《Monte Carlo 積分方法》
|
|
權(quán)權(quán)的《Monte Carlo方法》系列預告出來時我已注意到，但由于近來時間有限而直到今晚才有時間細讀了第一篇《積分方法》�？傮w而言寫得非常清楚，希望能夠堅持繼續(xù)下去。由于整個Bayesian統(tǒng)計學的根基就在Monte Carlo計算法，我對這個領域一向很感興趣。但由于在研究工作中尚沒有機會使用Bayesian統(tǒng)計學，因此有關的知識都還屬間接經(jīng)驗，能夠在本論壇探討這個話題肯定會受益。 在點評之前先推薦幾本參考資料，我相信下面這個書單是相當不錯的，可惜本人尚無時間深入鉆研： * 對英文著作尚有心理障礙者可以參考一本出色的中文教科書：馮康先生所著《數(shù) 值計算方法》的第七章《蒙特卡洛方法》（國防工業(yè)出版社，1978）； * 一本可讀性極強的英文專著，美國哈佛大學教授Jun Liu所著"Monte Carlo Strategies in Scientific Computing" (Springer 2002); * 對Monte Carlo方法在Bayesian統(tǒng)計學中的廣泛應用有興趣者可以適當參考 Andrew Gelman等人所著的"Bayesian Data Analysis" (Second Edition, 2003)之第三部分。 權(quán)權(quán)將貼子發(fā)在物理論壇的目的顯然是強調(diào)該方法在物理上的運用，我選擇在數(shù)學論壇加以點評是更看重其統(tǒng)計學背景，著重點各有不同。 >> 蒙特卡洛（Monte Carlo）是摩納哥公國一個城鎮(zhèn)，位于地中海沿岸，以其賭場和豪華 >> 酒店而聞名，所以就有了以隨機方法應用于數(shù)值計算的一類方法，被稱為Monte Carlo 有關Monte Carlo方法歷史背景的最精確描述來自Jun Liu的專著，他指出一批物理學家在二戰(zhàn)期間為估算薛定諤方程的本征值而發(fā)明了一種基于統(tǒng)計抽樣的數(shù)值計算法，其最初想法歸功于Ulam。后來Ulam的同事Metropolis將該方法命名為Monte Carlo。1950年代Metropolis和幾名統(tǒng)計物理學同事發(fā)表了一篇經(jīng)典論文，提出了Markov Chain Monte Carlo(MCMC)算法。而MCMC法后來是Bayesian統(tǒng)計學能夠不斷前進的主要動力。 >> I = ∫ f(x)p(x)dx 這里可以強調(diào)一下x是個矢量。而這個積分是概率統(tǒng)計中數(shù)學期望的基本定義，可以寫成E(f(x))。對于初學者而言，不要忘記概率密度函數(shù)p(x)的取值是可以大于1的，歸一化條件是對累積密度函數(shù)而言。 >> 上述變換就是Monte Carlo積分的基本精神，因為需要用到隨機抽樣，必然伴隨統(tǒng)計誤差。 需要用到隨機抽樣，其動機是想用數(shù)值模擬實驗中的頻率來直接估計一個概率值，而這個概率值是計算許多復雜高維積分的關鍵。而數(shù)值模擬需要產(chǎn)生一個序列的隨機數(shù)來保證抽樣過程的隨機性。 >> 因為x_i是按照概率密度p(x)分布的隨機變量，f(x_i)也是隨機變量 為了論述的清晰，應該說x_i是一個隨機矢量，那么f(x_i)就是隨機變量（標量）。 >> 而中心極限定理告訴我們，一組獨立隨機變量之和的概率分布是高斯，其方差等于每一 >> 項隨機變量的方差之和 這里關于“中心極限定理”的表述不夠精確，容易引起讀者混淆，特將Kai-Lai Chung(鐘開萊，我國著名數(shù)理統(tǒng)計大師許寶祿先生的弟子)概率論教科書中的定義按我的理解方式用英文轉(zhuǎn)述一下： [Central Limit Theorem] For mutually independent (or weakly correlated) random variables X_1, X_2, ..., X_n with mean mu and variance sigma^2, √n ( Xbar - mu) / sigma --> N(0,1) in distribution, where N(0,1) stands for standard Gaussian distribution. This means that the distribution shape of Xbar is more and more like a Gaussian random variable as n increases. 權(quán)權(quán)的中文表述中漏說了這組隨機變量必須來自同一個總體(population)這個重要條件，而且“是高斯”必須改成“在n不斷增大時趨向于高斯分布”。 >> 而計算高維積分時，Monte Carlo 方法是較優(yōu)的選擇。 權(quán)權(quán)只從收斂速度的視角來說明Monte Carlo方法在高維情形下的優(yōu)越性是不夠的，更關鍵的一點是---Monte Carlo模擬結(jié)果的精度和概型的維數(shù)D無關！結(jié)果的精度顯然比收斂速度更為重要，因此Monte Carlo方法特別適合求解高維問題。 另外要指出Monte Carlo方法以O(1/√N)的速度收斂，這在理論上已經(jīng)無法改善。關鍵要在實際應用中通過巧妙設計模擬概型和改進抽樣方法來降低方差。降低方差的技巧是衡量各種Monte Carlo方法優(yōu)劣的重要指標。 >> 不妨回顧一下布豐投針實驗來結(jié)束本篇，在分布著等距平行木紋的地板上投針，要求 >> 針的長度小于木紋之間的距離，幾何概形計算結(jié)果表明，針與一條木紋相交的概率可 >> 以用針的長度、木紋間距和圓周率π表示。而用幾何概形計算概率實質(zhì)上歸結(jié)為面積的 >> 計算，也就是積分的計算，布豐投針實驗可以說是用隨機抽樣計算積分的始祖。 Buffon投針實驗看似簡單，其中蘊含的幾何概型思想值得細細品味。令針的長度為L，木紋間距為S，要求L < S。若針的中點到最近的一條平行線的距離為H，用a表示針與平行線的夾角。顯然有約束條件0 <= H <= S/2 和 0 <= a <= π。為了使針與平行線相交，必須滿足 H <= (L/2) sin(a) 這樣針與平行線相交的概率就是兩塊面積的比值： p = ∫_0^π (L/2) sin(a) da / (π S/2 ) = 2L / (π S) 這就是權(quán)權(quán)所說“而用幾何概型計算概率實質(zhì)上歸結(jié)為面積的計算，也就是積分的計算”。倘若上式分子中的積分是一個復雜的高維積分，我們就可以用Monte Carlo方法模擬出的p值來估算它。當然假如我們感興趣的是無理數(shù)π值的估算，那么由上式可推出： π_hat = lim 2L / (S p_n) 極限中的n趨向于正無窮。 希望權(quán)權(quán)在接下來的系列文章中能談到以下四種Monte Carlo抽樣方法： * Crude Sampling * Acceptance-Rejection Sampling * Stratified Sampling * Importance Sampling 若能談及MCMC類方法在統(tǒng)計物理學上的運用則更能引人入勝。 |
回復此樓» 猜你喜歡
311求調(diào)劑
已經(jīng)有4人回復
-
304求調(diào)劑
已經(jīng)有4人回復
-
354求調(diào)劑
已經(jīng)有7人回復
-
321求調(diào)劑
已經(jīng)有3人回復
-
274求調(diào)劑
已經(jīng)有5人回復
-
281求調(diào)劑（0805）
已經(jīng)有15人回復
-
085600材料與化工調(diào)劑 324分
已經(jīng)有8人回復
-
能源材料化學課題組招收碩士研究生8-10名
已經(jīng)有10人回復
-
267一志愿南京工業(yè)大學0817化工求調(diào)劑
已經(jīng)有8人回復
-
328求調(diào)劑，英語六級551，有科研經(jīng)歷
已經(jīng)有10人回復
» 本主題相關商家推薦: (我也要在這里推廣)
相關版塊跳轉(zhuǎn)
我要訂閱樓主 zyj8119 的主題更新
| 1 | 1/1 | 返回列表 |
| 最具人氣熱帖推薦 [查看全部] | 作者 | 回/看 | 最后發(fā)表 | |
|---|---|---|---|---|
|
[考研] 321求調(diào)劑 +3 | 何潤采123 2026-03-18 | 3/150 |
|
|---|---|---|---|---|
|
|
[考研] 294求調(diào)劑材料與化工專碩 +4 | 陌の森林 2026-03-18 | 4/200 |
|
|
|
[考研] 一志愿武理材料305分求調(diào)劑 +5 | 想上岸的鯉魚 2026-03-18 | 6/300 |
|
|
[考研] 材料專碩274一志愿陜西師范大學求調(diào)劑 +6 | 薛云鵬 2026-03-13 | 6/300 |
|
|
|
[考研] 考研求調(diào)劑 +3 | 橘頌. 2026-03-17 | 4/200 |
|
|
|
[考研] 085601求調(diào)劑 +4 | Du.11 2026-03-16 | 4/200 |
|
|
|
[考研] 332求調(diào)劑 +6 | Zz版 2026-03-13 | 6/300 |
|
|
|
[考博] 26申博 +4 | 八旬速覽 2026-03-16 | 4/200 |
|
|
|
[考研] 278求調(diào)劑 +3 | Yy7400 2026-03-13 | 3/150 |
|
|
|
[基金申請] 國自科面上基金字體 +6 | iwuli 2026-03-12 | 7/350 |
|
|
|
[考研] 一志愿211 0703方向310分求調(diào)劑 +3 | 努力奮斗112 2026-03-15 | 3/150 |
|
|
|
[考研] 22408總分284求調(diào)劑 +3 | InAspic 2026-03-13 | 3/150 |
|
|
|
[考研] 復試調(diào)劑 +3 | 呼呼？~+123456 2026-03-14 | 3/150 |
|
|
|
[考研] 求材料調(diào)劑 085600英一數(shù)二總分302 前三科235 精通機器學習 一志愿哈工大 +4 | 林yaxin 2026-03-12 | 4/200 |
|
|
|
[碩博家園] 085600 260分求調(diào)劑 +3 | 天空還下雨么 2026-03-13 | 5/250 |
|
|
|
[考研] 307求調(diào)劑 +5 | 超級伊昂大王 2026-03-12 | 5/250 |
|
|
|
[考研] 277求調(diào)劑 +4 | anchor17 2026-03-12 | 4/200 |
|
|
|
[考研] 283求調(diào)劑，材料、化工皆可 +8 | 蘇打水7777 2026-03-11 | 10/500 |
|
|
|
[考研] 333求調(diào)劑 +3 | 152697 2026-03-12 | 4/200 |
|
|
|
[考研] 081200-11408-276學碩求調(diào)劑 +3 | 崔wj 2026-03-12 | 4/200 |
|