 |
 |
 |
 |
 |
 |
||
 |
 |
 |
 |
 |
| 7 | 1/1 | 返回列表 |
| 查看: 1635 | 回復: 6 | ||||
zouming1979捐助貴賓 (小有名氣)
|
[交流]
多核和應用性能的關(guān)系 已有3人參與
|
|
由于功耗的原因，處理器的主頻難以提升，因此目前處理器的發(fā)展主要在兩個方面，一個是單核內(nèi)部架構(gòu)的優(yōu)化，提高計算過程中效率，一個是在單一的處理器中增加更加多的核心，通過并行提高性能。目前架構(gòu)的優(yōu)化經(jīng)過這幾年的大發(fā)展，已經(jīng)有相當大的提升，在可預見的一段時間內(nèi)，暫時還看不到能帶來有顯著的效率提升的架構(gòu)變化；而核心數(shù)可以在預見的一段時間內(nèi)有大的提升，包括GPU結(jié)構(gòu)、多核結(jié)構(gòu)、眾核結(jié)構(gòu)等。因此并行將是未來幾年性能提升的最大來源，但是應用是否能夠得到這種收益，主要是看應用類型和應用軟件優(yōu)化能力。 先講講并行計算中，一個非常著名但是又是非常簡單和易于理解的定理---阿姆達定律 阿姆達定律講的是這么一件事：一個程序存在兩部分，只能串行計算的部分S，和能夠并行計算地部分P。兩部分之和是整個程序，因此S+P=1。這個程序如果在一個具有N個核心的處理器上運行，那么和它在一個單核處理器上運行相比，速度的提升是1/(S + P/N)。當N趨近于無窮大時（即假設(shè)我們有無窮多個核心），速度提升的上限是1/S，即速度提升的上限取決于程序不能被并行計算的部分。 現(xiàn)在的多核處理器還遠遠沒到擁有1,000個核心的時候。然而未來的某一天，不管是軟件還是硬件工程師們也許會滿頭大汗地向客戶解釋這個問題：為什么最新的1,000核處理器比舊的100核處理器快不了多少？ 阿姆達定律描述的是理想情況，在實際應用中并行化是有代價的，有的時候是不能被忽略，當N趨于無窮大時，大多時候不但不能導致并行部分的時間趨于零，反而導致并行部分時間變大。 并行計算部分的代價可以分為兩個部分 1. 算法被并行，對算法的修改會增加了總計算量（幾乎所有的并行算法） 2. 通信的代價和數(shù)據(jù)同步帶來的開銷。 舉個例子：矩陣乘法的并行化，需要將兩個相乘的矩陣劃分為多個子矩陣。子矩陣乘完之后，需要在各個節(jié)點之間交換數(shù)據(jù)。通過網(wǎng)絡發(fā)送子矩陣的結(jié)果這個是通訊代價；進行下一步計算，需要等待所需的數(shù)據(jù)到了（有時候要等待多個進程發(fā)送來的數(shù)據(jù)），這個是數(shù)據(jù)同步。 通信延遲隱藏是并行優(yōu)化最常用的手段之一，即一邊計算一邊傳輸數(shù)據(jù) a） 計算出部分結(jié)果后，就開始傳送數(shù)據(jù) b） 數(shù)據(jù)一發(fā)送（不等發(fā)送完畢），就直接開始下一步計算（要設(shè)計算法，才能保證這個地方不會因為同步導致不能計算） 當并行化之后，當一個確定的應用和一個確定大小的數(shù)據(jù)集。 并行度越高 =>子矩陣越小=>計算的時間就越短 子矩陣越小=>傳輸時間并不成比例縮�。▊鬏斢袉訒r間，不會無限小） 子矩陣越小=>傳輸?shù)拇螖?shù)越多=>同步次數(shù)越多 當計算時間越來越小，比通信時間還小的話，就不能掩蓋通信延遲，而且會提高通信代價和同步代價。因此當并行度越高，加速比就會越來差，直到最后，反倒會下降。 看到這里，我們?nèi)绾翁岣卟⑿袘玫男阅埽?br /> 1. 降低串行部分的執(zhí)行時間 => 高速處理器 2. 降低通信代價 => 高速網(wǎng)絡（延遲在大多時候比帶寬重要） 3. 合理的并行度 下面對一個真實案例進行分析 用ADF對某個分子體系進行模擬進行分子模擬（本人完全不懂分子模擬，以下分析不涉及領(lǐng)域知識） 這個是ADF官方的一個數(shù)據(jù)，從上面的這個曲線可以明顯看出，當核數(shù)比較少的時候，這個應用的加速比非常的好 50個核并行時，總執(zhí)行時間2000秒左右 100核并行時， 總執(zhí)行時間比1000秒稍多點 超過100核之后，加速比明顯降低，到200核（750s左右）之后性能提升就比較慢，300-400核時的，執(zhí)行時間也超過500秒。 同樣一個案例，在我們的計算環(huán)境下，測試出來的數(shù)據(jù)。 12核時，執(zhí)行時間1000秒左右 24核時，執(zhí)行時間520秒 36核時，執(zhí)行時間380秒 120核時，執(zhí)行時間低于300秒。 當計算和通信比基本達到平衡狀態(tài)，再增加核數(shù)，導致并行計算部分進一步縮小后，計算和通信比開始不平衡，導致通信時間無法再隱藏了。從兩個不同的平臺中可以看出，當一個應用的數(shù)據(jù)規(guī)模確定后，一個應用的運行速度極值變化遠比平臺性能提升的少（在擴展性較好的應用）。 選擇一個合適的并行度，既可以提升執(zhí)行的速度，又不對資源過多的浪費，怎么選擇并行度也是多方面的考慮，速度優(yōu)先還是效率優(yōu)先？ 自己的機器估計還是速度優(yōu)先（資源夠的話） 如果用的是收費資源可能還是效率優(yōu)先。 選擇并行度也是是需要有相當?shù)慕?jīng)驗，可能大多數(shù)情況下，都需要做實驗，有經(jīng)驗的會更快找到平衡點。 另外從不同的平臺的性能對比，其實也說明，不同的核，性能差距實在太大，核多看起來很美，但是誰用誰知道。 一個平臺的100核的效果還比不上另外一個平臺12核的效果�；颂嗟臅r間在優(yōu)化，還不如直接換個平臺更加省事和徹底。 搭建平衡的系統(tǒng)，也非常關(guān)鍵，說起來容易，其實做起來也太容易。 因為數(shù)據(jù)不太全，也不能做個很深入的對比。大家先湊合著看吧，有機會可以再討論討論。 [ Last edited by zouming1979 on 2012-5-1 at 20:54 ] |
回復此樓» 收錄本帖的淘帖專輯推薦
 并行計算 |
» 本帖已獲得的紅花（最新10朵）
awmc2008» 猜你喜歡
307求調(diào)劑
已經(jīng)有9人回復
-
288求調(diào)劑
已經(jīng)有15人回復
-
085700資源與環(huán)境308求調(diào)劑
已經(jīng)有5人回復
-
294求調(diào)劑材料與化工專碩
已經(jīng)有14人回復
-
0817 化學工程 299分求調(diào)劑 有科研經(jīng)歷 有二區(qū)文章
已經(jīng)有18人回復
-
265求調(diào)劑
已經(jīng)有3人回復
-
296求調(diào)劑
已經(jīng)有6人回復
-
0703化學調(diào)劑
已經(jīng)有13人回復
-
085600材料與化工 求調(diào)劑
已經(jīng)有15人回復
-
生物學調(diào)劑招人！��！
已經(jīng)有4人回復
» 本主題相關(guān)商家推薦: (我也要在這里推廣)
» 本主題相關(guān)價值貼推薦，對您同樣有幫助:
- 中科院上海應用物理研究所招聘——核能專項（核物理、粒子物理、反應堆相關(guān)）
已經(jīng)有68人回復
- 多核現(xiàn)象的基因敲除
已經(jīng)有9人回復
- 中國科學院上海應用物理研究所釷基熔鹽堆核能系統(tǒng)（TMSR）萃取分離方向招聘
已經(jīng)有13人回復
- 中科院上海應用物理研究所核能項目招聘氣體監(jiān)測凈化人員（氣體凈化組）
已經(jīng)有22人回復
- 請教：葉綠體、線粒體、細胞核DNA的相互關(guān)系
已經(jīng)有7人回復
- 光子晶體用SiO_2/Ag/SiO_2核殼結(jié)構(gòu)亞微米微球制備與性能研究及其自組裝
已經(jīng)有5人回復
- 旋轉(zhuǎn)蒸發(fā)儀旋干后要做核磁，還要用油泵抽么，一般要抽多長時間呢？？
已經(jīng)有29人回復
- 【求助】成核劑改善聚合物力學性能~~~~
已經(jīng)有10人回復
- 求助 色素化學--有機染料和顏料的合成性能和應用(原著第3版)
已經(jīng)有17人回復
2樓2012-05-01 11:07:33
zouming1979
捐助貴賓 (小有名氣)
- 應助: 13 (小學生)
- 金幣: 5405.8
- 帖子: 83
- 在線: 54.5小時
- 蟲號: 1733983
- 注冊: 2012-04-03
- 性別: GG
- 專業(yè): 計算機體系結(jié)構(gòu)
★ ★
fzx2008: 金幣+2, 謝謝指教 2012-05-01 21:31:14
fzx2008: 金幣+2, 謝謝指教 2012-05-01 21:31:14
|
多機并行，基本都采用基于消息傳遞的機制MPI，在程序中顯示的發(fā)送和接收消息。這個是通過網(wǎng)絡設(shè)備將數(shù)據(jù)發(fā)出去，延遲和帶寬都受到網(wǎng)絡設(shè)備的限制。 同機并行（節(jié)點內(nèi)并行）可以采用MPI通信，也可以采用openmp（自動多線程技術(shù)），采用多線程進程，由于一個進程內(nèi)的地址空間是共享的，多個線程之間的數(shù)據(jù)傳遞可以通過共享內(nèi)存的機制（必須加上鎖，避免多個線程同時讀寫數(shù)據(jù)，造成數(shù)據(jù)不一致），直接在內(nèi)存中傳遞，延遲可以極大的降低，帶寬也可以極大的增加。 節(jié)點內(nèi)如果采用MPI通信，如果使用優(yōu)化的MPI庫，也可以被自動在內(nèi)存中傳遞，減小開銷。 |
» 本帖已獲得的紅花（最新10朵）
3樓2012-05-01 11:22:18
uuv2010
榮譽版主 (職業(yè)作家)
- 1ST強帖: 6
- 應助: 160 (高中生)
- 貴賓: 3.14
- 金幣: 3681.7
- 散金: 5802
- 紅花: 79
- 沙發(fā): 35
- 帖子: 4560
- 在線: 916小時
- 蟲號: 966216
- 注冊: 2010-03-09
- 性別: GG
- 專業(yè): 凝聚態(tài)物性 II ：電子結(jié)構(gòu)
- 管轄: 第一性原理
4樓2012-05-02 09:43:07
5樓2012-05-02 10:34:48
zouming1979
捐助貴賓 (小有名氣)
- 應助: 13 (小學生)
- 金幣: 5405.8
- 帖子: 83
- 在線: 54.5小時
- 蟲號: 1733983
- 注冊: 2012-04-03
- 性別: GG
- 專業(yè): 計算機體系結(jié)構(gòu)
★ ★
WDD880227: 金幣+2, 感謝您回帖交流 2012-05-02 18:36:56
WDD880227: 金幣+2, 感謝您回帖交流 2012-05-02 18:36:56
|
評價計算性能目前最直觀的是處理器型號，這個實際上決定了這個計算機系統(tǒng)的絕大部分性能。計算系統(tǒng)是圍繞著處理器來設(shè)計的。CPU內(nèi)部優(yōu)化有很多地方，跑LINPACK的時候，峰值都差不多，但是跑應用的時候，性能可以差好幾倍。 其次是網(wǎng)絡，網(wǎng)絡的延遲和帶寬是并行應用的核心，很多并行應用的最大的瓶頸就在網(wǎng)絡上。網(wǎng)絡不好，加速比無從談起。 IO（磁盤訪問）也是非常重要的一部分，部分應用對IO極為敏感，我所知道的Nastran，就是這樣一個應用，改善IO性能，其他條件不變的情況下，性能可能提高2-3倍。并行文件系統(tǒng)的能力非常重要，NFS在很多情況下就是罪惡的根源。  內(nèi)存大小當然也是關(guān)鍵，有些應用內(nèi)存不夠，直接跑不出來，有的應用具有相當?shù)倪m應能力，在小內(nèi)存的情況下也能跑，但是性能就有幾倍的差距。有時候內(nèi)存需要量太大了，所以不得不依靠IO，IO性能就很關(guān)鍵了。 [ Last edited by zouming1979 on 2012-5-2 at 12:52 ] |
6樓2012-05-02 12:50:58
awmc2008
至尊木蟲 (文壇精英)
學習者
- 應助: 62 (初中生)
- 金幣: 13666.6
- 紅花: 10
- 帖子: 12258
- 在線: 736.8小時
- 蟲號: 600677
- 注冊: 2008-09-12
- 性別: GG
- 專業(yè): 凝聚態(tài)物性 II ：電子結(jié)構(gòu)
7樓2012-05-02 18:06:24
相關(guān)版塊跳轉(zhuǎn)
我要訂閱樓主 zouming1979 的主題更新
| 7 | 1/1 | 返回列表 |
| 最具人氣熱帖推薦 [查看全部] | 作者 | 回/看 | 最后發(fā)表 | |
|---|---|---|---|---|
|
[考研] 296求調(diào)劑 +3 | www_q 2026-03-18 | 6/300 |
|
|---|---|---|---|---|
|
[考研] 復試調(diào)劑 +4 | z1z2z3879 2026-03-14 | 6/300 |
|
|
|
[考研] 085601材料工程專碩求調(diào)劑 +10 | 慕寒mio 2026-03-16 | 10/500 |
|
|
|
[考研] 317求調(diào)劑 +3 | 申子申申 2026-03-19 | 6/300 |
|
|
|
[考研] 材料考研調(diào)劑 +3 | xwt。 2026-03-19 | 3/150 |
|
|
|
[考研] 26調(diào)劑/材料/英一數(shù)二/總分289/已過A區(qū)線 +7 | 步川酷紫123 2026-03-13 | 7/350 |
|
|
|
[考研] 化學工程321分求調(diào)劑 +15 | 大米飯！ 2026-03-15 | 18/900 |
|
|
|
[考研] 0854可跨調(diào)劑，一作一項核心論文五項專利，省、國級證書40+數(shù)一英一287 +8 | 小李0854 2026-03-16 | 8/400 |
|
|
|
[考研] 331求調(diào)劑（0703有機化學 +7 | ZY-05 2026-03-13 | 8/400 |
|
|
|
[考研] 296求調(diào)劑 +5 | 大口吃飯 身體健 2026-03-13 | 5/250 |
|
|
|
[考研] 301求調(diào)劑 +4 | A_JiXing 2026-03-16 | 4/200 |
|
|
|
[考研] 326求調(diào)劑 +5 | 上岸的小葡 2026-03-15 | 6/300 |
|
|
|
[考研] 283求調(diào)劑 +3 | 聽風就是雨； 2026-03-16 | 3/150 |
|
|
|
[考研] 321求調(diào)劑 +5 | 大米飯！ 2026-03-15 | 5/250 |
|
|
|
[考研] 26考研一志愿中國石油大學(華東)305分求調(diào)劑 +3 | 嘉年新程 2026-03-15 | 3/150 |
|
|
|
[考研] 070305求調(diào)劑 +3 | mlpqaz03 2026-03-14 | 4/200 |
|
|
|
[考研] 085601材料工程315分求調(diào)劑 +3 | yang_0104 2026-03-15 | 3/150 |
|
|
|
[考研] 中科大材料與化工319求調(diào)劑 +3 | 孟鑫材料 2026-03-14 | 3/150 |
|
|
|
[考研] 328求調(diào)劑 +3 | 5201314Lsy！ 2026-03-13 | 6/300 |
|
|
|
[考研] 297求調(diào)劑 +4 | 學海漂泊 2026-03-13 | 4/200 |
|