 |
 |
 |
 |
 |
 |
||
 |
 |
 |
 |
 |
| 1 | 1/1 | 返回列表 |
| 查看: 1290 | 回復(fù): 0 | ||||
新手已上路木蟲(chóng) (職業(yè)作家)
|
[交流]
優(yōu)雅的數(shù)學(xué)--淺談熵與不確定風(fēng)險(xiǎn)
|
|
“不要把所有雞蛋放到一個(gè)籃子里�！� 這是在投資時(shí)常常講到的一個(gè)原理，目的是降低風(fēng)險(xiǎn)。在數(shù)學(xué)上，這個(gè)原理稱為最大熵原理（The Maximum Entropy Principle）。 1988年，達(dá)拉皮垂兄弟和很多 IBM 做語(yǔ)音識(shí)別的同事，開(kāi)了一家對(duì)沖基金公司——文藝復(fù)興技術(shù)公司（Renaissance Technologies）。用最大熵模型和一些其他先進(jìn)的數(shù)學(xué)工具，對(duì)股票進(jìn)行預(yù)測(cè)，取得巨大成功。該基金在創(chuàng)立至今，它的凈回報(bào)率高達(dá)平均每年34%。這個(gè)業(yè)績(jī)遠(yuǎn)超股神巴菲特的旗艦公司伯克希爾哈撒韋（Berkshire Hathaway）。即使在金融危機(jī)的 2008年，全球股市暴跌，文藝復(fù)興技術(shù)公司的回報(bào)卻高達(dá) 80%。 優(yōu)雅的數(shù)學(xué)--淺談熵與不確定風(fēng)險(xiǎn) 下面簡(jiǎn)單介紹下熵及其相關(guān)的一些基本概念。 1. 什么是熵 物理熵 熵（entropy）原本是一個(gè)熱力學(xué)概念，源自希臘語(yǔ) “轉(zhuǎn)換” 一詞。用來(lái)衡量能量的不可用程度。 優(yōu)雅的數(shù)學(xué)--淺談熵與不確定風(fēng)險(xiǎn) 熵 S = -∑Pi * log Pi λ熱力學(xué)第一定律：宇宙的能量守恒 λ熱力學(xué)第二定律：宇宙的熵恒增 簡(jiǎn)單解釋：一杯熱水倒入一杯冷水中，有一定溫差，這個(gè)溫差可以轉(zhuǎn)化成機(jī)械能之類的，被我們利用，但隨著溫差越來(lái)越小，能量不可用的程度越來(lái)越大，所以熵不斷增大。熵恒增可視為一種無(wú)限接近但不可到達(dá)的狀態(tài)，跟絕對(duì)零度，差不多一個(gè)意思。 （關(guān)于熵，還有一只妖精的傳說(shuō)，有興趣的小伙伴可以查查看） 信息熵——如何衡量一條信息的信息量？ 舉個(gè)栗子，16 只有標(biāo)號(hào)的球隊(duì)，要詢問(wèn)多少次才能知道那支球隊(duì)是冠軍（消除不確定性的過(guò)程）？通過(guò)二分原理來(lái)詢問(wèn)是最有效的（最差情況下的最優(yōu)解）： 1.是在 1-8號(hào)里嗎？ 是 2.是在 1-4號(hào)里嗎？ 否 （說(shuō)明在 5-8號(hào)里） 3.是在 5-6號(hào)里嗎？ 是 4.是 5號(hào)嗎？ 否 （不確定性完全消除，6號(hào)球隊(duì)是冠軍） 信息學(xué)里，用 “比特”（Bit）來(lái)度量信息量，可以看出來(lái)，信息量的比特?cái)?shù)和所有可能情況的對(duì)數(shù)函數(shù) log 有關(guān)。 再進(jìn)一步，可能不需要猜四次（但不會(huì)比四次多），因?yàn)槲靼嘌�、巴西、德�?guó)、意大利這樣的球隊(duì)，比日本、南非、韓國(guó)、中國(guó)這樣的球隊(duì)，得冠軍的可能性高。所以，權(quán)重需要修正一下。 信息熵 H (X) = -∑P (x) * log P (x) 其中 P 表示概率（下面的介紹也是一樣） 一條信息的信息量和它的不確定性有著直接的關(guān)系，而信息熵就是用來(lái)衡量不確定性的程度。 優(yōu)雅的數(shù)學(xué)--淺談熵與不確定風(fēng)險(xiǎn) 香農(nóng)沒(méi)關(guān)注過(guò)物理學(xué)雜志，他從頭構(gòu)建了熵的數(shù)學(xué)理論，向信息論的鼻祖致敬！ 其他相關(guān)概念：條件熵，互信息 下圖符號(hào)定義，熵為 H (X)，條件熵為 H (X|Y)，互信息為 I (X ; Y)。 優(yōu)雅的數(shù)學(xué)--淺談熵與不確定風(fēng)險(xiǎn) 熵的概念上面已說(shuō)，條件熵也不難理解，只不過(guò)把概率替換為條件概率即可。互信息有點(diǎn)長(zhǎng)，其實(shí)也不難理解，下面的推導(dǎo)會(huì)得到：I (X ; Y) = H (X) - H (X|Y)，即了解 Y 的前提下，對(duì)消除 X 不確定性所提供的信息量。 優(yōu)雅的數(shù)學(xué)--淺談熵與不確定風(fēng)險(xiǎn) 可以推導(dǎo)出 H (X) >= H (X|Y)，有興趣的小伙伴可以自己試下。這說(shuō)明，引入其他真實(shí)條件后，有助于降低對(duì)事件的不確定性，這與直覺(jué)相符。如果引入的事件毫無(wú)用處，H (X) = H (X|Y) 成立，即對(duì)分析事情毫無(wú)幫助。 當(dāng)一個(gè)事件有了上下文，條件熵就會(huì)很有用；判斷條件 Y 對(duì) X 提供的信息量，互信息很有用。 還有一些其他概念，比如相對(duì)熵，也很有趣，這里不再多說(shuō)。 2. 最大熵模型 最大熵原理：保留全部的不確定性，將風(fēng)險(xiǎn)降到最小。保留了最大的不確定性，也就是說(shuō)，讓熵達(dá)到最大。 對(duì)任何一組不相矛盾的信息，最大熵模型不僅存在，而且唯一，形式是指數(shù)函數(shù)。 例如，有 20 種需要考慮的因素，對(duì)應(yīng)的最大熵模型為 P (d|x1,x2,...,x20) =λ0* eλ1 (x1,d) +λ2 (x2,d)+。。。+λ20 (x20,d) 其中，λ0 是歸一系數(shù)，λi 是需要通過(guò)模型訓(xùn)練來(lái)獲得的。 最原始的最大熵模型的訓(xùn)練算法，是一種期望值最大化算法： 1.假設(shè)第 0 次迭代的初始模型為等概率的均勻分布。 2.用第 N 次迭代的模型來(lái)估算每種信息特征在訓(xùn)練數(shù)據(jù)中的分布。如果超過(guò)了實(shí)際的，就把相應(yīng)的模型參數(shù)變��；否則，變大。 3.重復(fù) 2，直至收斂。 這種算法復(fù)雜度太高，一般只用來(lái)了解這個(gè)模型，實(shí)際中很少用。 達(dá)拉皮垂兄弟在 IBM 對(duì)這個(gè)算法進(jìn)行了兩方面改進(jìn)，提出了 IIS（Improved Iterative Scaling）算法，提升了一到兩個(gè)數(shù)量級(jí)，才使得有可能實(shí)用。 這個(gè)模型形式優(yōu)美，是唯一一種既能滿足各個(gè)信息源的限制條件，同時(shí)又能保證平滑性的模型。比簡(jiǎn)單組合特征的模型，效果可以提升幾個(gè)百分點(diǎn)，對(duì)投資收益來(lái)講，提升哪怕是 1%，利潤(rùn)也是以億計(jì)的。 但這個(gè)模型的計(jì)算量依舊特別大，在工程上實(shí)現(xiàn)方法的好壞決定了模型的實(shí)用與否。 3. 信息的整合 如何將各種各樣但又不確定的信息綜合起來(lái)，是一門很大的學(xué)問(wèn)，單靠算法和模型還不夠。業(yè)務(wù)知識(shí)，以及如何將業(yè)務(wù)知識(shí)量化，都是很有挑戰(zhàn)性的工作。 比如說(shuō)，對(duì)于一個(gè)期貨模型，如果氣象顯示秘魯沿岸的海潮向外移動(dòng)，那么應(yīng)該買進(jìn)或賣出黃豆嗎？ 如果把類似的問(wèn)題拋給我，我只能說(shuō)，這兩者有半毛錢關(guān)系！ 但實(shí)際情況確實(shí)這樣：當(dāng)海潮向外移動(dòng)時(shí)，秘魯沿岸的鳀魚(yú)會(huì)隨著海潮移往太平洋的外海，鳀魚(yú)的捕獲量會(huì)減少。鳀魚(yú)主要是供日本人飼養(yǎng)牛的，鳀魚(yú)的產(chǎn)量減少時(shí)，日本人會(huì)以黃豆作為飼料。當(dāng)黃豆的需求增加，黃豆和黃豆粉期貨的價(jià)格也會(huì)上漲，所以應(yīng)該買進(jìn)黃豆。這條信息對(duì)消除不確定性，應(yīng)該有很大權(quán)重，但這已經(jīng)不是工程方面的范疇。 一些看似不相關(guān)的信息，也可能有千絲萬(wàn)縷的關(guān)聯(lián)，信息整合需要業(yè)務(wù)人員和技術(shù)人員一起合作，缺一不可�？刂骑L(fēng)險(xiǎn)，任重而道遠(yuǎn)，一起努力。 |
回復(fù)此樓» 收錄本帖的淘帖專輯推薦
 數(shù)理基礎(chǔ)收集 |
» 猜你喜歡
求調(diào)劑
已經(jīng)有7人回復(fù)
-
272求調(diào)劑
已經(jīng)有7人回復(fù)
-
352分 化工與材料
已經(jīng)有3人回復(fù)
-
0703化學(xué)
已經(jīng)有6人回復(fù)
-
一志愿南昌大學(xué)324求調(diào)劑
已經(jīng)有3人回復(fù)
-
求調(diào)劑
已經(jīng)有3人回復(fù)
-
266分求材料化工冶金礦業(yè)等專業(yè)的調(diào)劑
已經(jīng)有4人回復(fù)
-
一志愿南師大0703化學(xué) 275求調(diào)劑
已經(jīng)有4人回復(fù)
-
085701環(huán)境工程求調(diào)劑
已經(jīng)有3人回復(fù)
-
266求調(diào)劑
已經(jīng)有10人回復(fù)
相關(guān)版塊跳轉(zhuǎn)
我要訂閱樓主 新手已上路 的主題更新
| 1 | 1/1 | 返回列表 |
| 最具人氣熱帖推薦 [查看全部] | 作者 | 回/看 | 最后發(fā)表 | |
|---|---|---|---|---|
|
[考研] 289求調(diào)劑 +6 | 新時(shí)代材料 2026-03-27 | 6/300 |
|
|---|---|---|---|---|
|
|
[考研] 311求調(diào)劑 +7 | lin0039 2026-03-26 | 7/350 |
|
|
|
[考研] 329求調(diào)劑 +4 | 星野? 2026-03-26 | 4/200 |
|
|
[考研] 一志愿鄭大085600，310分求調(diào)劑 +5 | 李瀟可 2026-03-26 | 5/250 |
|
|
|
[考研] 324求調(diào)劑 +5 | hanamiko 2026-03-26 | 5/250 |
|
|
|
[考研] 總分322求生物學(xué)/生化與分子/生物信息學(xué)相關(guān)調(diào)劑 +5 | 星沉uu 2026-03-26 | 6/300 |
|
|
|
[考研] 材料277求調(diào)劑 +5 | min3 2026-03-24 | 5/250 |
|
|
|
[考研] 一志愿 南京郵電大學(xué) 288分 材料考研 求調(diào)劑 +3 | jl0720 2026-03-26 | 3/150 |
|
|
|
[考研] 315分求調(diào)劑 +5 | 26考研上岸版26 2026-03-26 | 5/250 |
|
|
|
[考研] 打過(guò)很多競(jìng)賽，085406控制工程300分，求調(diào)劑 +3 | askeladz 2026-03-26 | 3/150 |
|
|
|
[考研] 調(diào)劑310 +3 | 溫柔的晚安 2026-03-25 | 4/200 |
|
|
|
[考研] 考研調(diào)劑 +6 | 來(lái)好運(yùn)來(lái)來(lái)來(lái) 2026-03-21 | 7/350 |
|
|
|
[考研] 生物技術(shù)與工程 +3 | 1294608413 2026-03-25 | 4/200 |
|
|
|
[考研] 0854AI CV方向招收調(diào)劑 +4 | 章小魚(yú)567 2026-03-23 | 4/200 |
|
|
|
[考研] 化學(xué)調(diào)劑 +6 | yzysaa 2026-03-21 | 6/300 |
|
|
|
[考研] 080500求調(diào)劑 +3 | zzzzfan 2026-03-24 | 3/150 |
|
|
|
[考研] 291求調(diào)劑 +3 | HanBeiNingZC 2026-03-24 | 3/150 |
|
|
|
[考研] 305分求調(diào)劑（食品工程） +5 | Sxy112 2026-03-21 | 7/350 |
|
|
|
[論文投稿] 急發(fā)核心期刊論文 +3 | 賢達(dá)問(wèn)津 2026-03-23 | 5/250 |
|
|
|
[考研] 328求調(diào)劑 +4 | LHHL66 2026-03-23 | 4/200 |
|