 |
 |
 |
 |
 |
 |
||
 |
 |
 |
 |
 |
| 7 | 1/1 | 返回列表 |
| 查看: 1634 | 回復(fù): 6 | ||||
zouming1979捐助貴賓 (小有名氣)
|
[交流]
多核和應(yīng)用性能的關(guān)系 已有3人參與
|
|
由于功耗的原因，處理器的主頻難以提升，因此目前處理器的發(fā)展主要在兩個(gè)方面，一個(gè)是單核內(nèi)部架構(gòu)的優(yōu)化，提高計(jì)算過程中效率，一個(gè)是在單一的處理器中增加更加多的核心，通過并行提高性能。目前架構(gòu)的優(yōu)化經(jīng)過這幾年的大發(fā)展，已經(jīng)有相當(dāng)大的提升，在可預(yù)見的一段時(shí)間內(nèi)，暫時(shí)還看不到能帶來有顯著的效率提升的架構(gòu)變化；而核心數(shù)可以在預(yù)見的一段時(shí)間內(nèi)有大的提升，包括GPU結(jié)構(gòu)、多核結(jié)構(gòu)、眾核結(jié)構(gòu)等。因此并行將是未來幾年性能提升的最大來源，但是應(yīng)用是否能夠得到這種收益，主要是看應(yīng)用類型和應(yīng)用軟件優(yōu)化能力。 先講講并行計(jì)算中，一個(gè)非常著名但是又是非常簡(jiǎn)單和易于理解的定理---阿姆達(dá)定律 阿姆達(dá)定律講的是這么一件事：一個(gè)程序存在兩部分，只能串行計(jì)算的部分S，和能夠并行計(jì)算地部分P。兩部分之和是整個(gè)程序，因此S+P=1。這個(gè)程序如果在一個(gè)具有N個(gè)核心的處理器上運(yùn)行，那么和它在一個(gè)單核處理器上運(yùn)行相比，速度的提升是1/(S + P/N)。當(dāng)N趨近于無窮大時(shí)（即假設(shè)我們有無窮多個(gè)核心），速度提升的上限是1/S，即速度提升的上限取決于程序不能被并行計(jì)算的部分。 現(xiàn)在的多核處理器還遠(yuǎn)遠(yuǎn)沒到擁有1,000個(gè)核心的時(shí)候。然而未來的某一天，不管是軟件還是硬件工程師們也許會(huì)滿頭大汗地向客戶解釋這個(gè)問題：為什么最新的1,000核處理器比舊的100核處理器快不了多少？ 阿姆達(dá)定律描述的是理想情況，在實(shí)際應(yīng)用中并行化是有代價(jià)的，有的時(shí)候是不能被忽略，當(dāng)N趨于無窮大時(shí)，大多時(shí)候不但不能導(dǎo)致并行部分的時(shí)間趨于零，反而導(dǎo)致并行部分時(shí)間變大。 并行計(jì)算部分的代價(jià)可以分為兩個(gè)部分 1. 算法被并行，對(duì)算法的修改會(huì)增加了總計(jì)算量（幾乎所有的并行算法） 2. 通信的代價(jià)和數(shù)據(jù)同步帶來的開銷。 舉個(gè)例子：矩陣乘法的并行化，需要將兩個(gè)相乘的矩陣劃分為多個(gè)子矩陣。子矩陣乘完之后，需要在各個(gè)節(jié)點(diǎn)之間交換數(shù)據(jù)。通過網(wǎng)絡(luò)發(fā)送子矩陣的結(jié)果這個(gè)是通訊代價(jià)；進(jìn)行下一步計(jì)算，需要等待所需的數(shù)據(jù)到了（有時(shí)候要等待多個(gè)進(jìn)程發(fā)送來的數(shù)據(jù)），這個(gè)是數(shù)據(jù)同步。 通信延遲隱藏是并行優(yōu)化最常用的手段之一，即一邊計(jì)算一邊傳輸數(shù)據(jù) a） 計(jì)算出部分結(jié)果后，就開始傳送數(shù)據(jù) b） 數(shù)據(jù)一發(fā)送（不等發(fā)送完畢），就直接開始下一步計(jì)算（要設(shè)計(jì)算法，才能保證這個(gè)地方不會(huì)因?yàn)橥綄?dǎo)致不能計(jì)算） 當(dāng)并行化之后，當(dāng)一個(gè)確定的應(yīng)用和一個(gè)確定大小的數(shù)據(jù)集。 并行度越高 =>子矩陣越小=>計(jì)算的時(shí)間就越短 子矩陣越小=>傳輸時(shí)間并不成比例縮�。▊鬏斢袉�(dòng)時(shí)間，不會(huì)無限�。� 子矩陣越小=>傳輸?shù)拇螖?shù)越多=>同步次數(shù)越多 當(dāng)計(jì)算時(shí)間越來越小，比通信時(shí)間還小的話，就不能掩蓋通信延遲，而且會(huì)提高通信代價(jià)和同步代價(jià)。因此當(dāng)并行度越高，加速比就會(huì)越來差，直到最后，反倒會(huì)下降。 看到這里，我們?nèi)绾翁岣卟⑿袘?yīng)用的性能？ 1. 降低串行部分的執(zhí)行時(shí)間 => 高速處理器 2. 降低通信代價(jià) => 高速網(wǎng)絡(luò)（延遲在大多時(shí)候比帶寬重要） 3. 合理的并行度 下面對(duì)一個(gè)真實(shí)案例進(jìn)行分析 用ADF對(duì)某個(gè)分子體系進(jìn)行模擬進(jìn)行分子模擬（本人完全不懂分子模擬，以下分析不涉及領(lǐng)域知識(shí)） 這個(gè)是ADF官方的一個(gè)數(shù)據(jù)，從上面的這個(gè)曲線可以明顯看出，當(dāng)核數(shù)比較少的時(shí)候，這個(gè)應(yīng)用的加速比非常的好 50個(gè)核并行時(shí)，總執(zhí)行時(shí)間2000秒左右 100核并行時(shí)， 總執(zhí)行時(shí)間比1000秒稍多點(diǎn) 超過100核之后，加速比明顯降低，到200核（750s左右）之后性能提升就比較慢，300-400核時(shí)的，執(zhí)行時(shí)間也超過500秒。 同樣一個(gè)案例，在我們的計(jì)算環(huán)境下，測(cè)試出來的數(shù)據(jù)。 12核時(shí)，執(zhí)行時(shí)間1000秒左右 24核時(shí)，執(zhí)行時(shí)間520秒 36核時(shí)，執(zhí)行時(shí)間380秒 120核時(shí)，執(zhí)行時(shí)間低于300秒。 當(dāng)計(jì)算和通信比基本達(dá)到平衡狀態(tài)，再增加核數(shù)，導(dǎo)致并行計(jì)算部分進(jìn)一步縮小后，計(jì)算和通信比開始不平衡，導(dǎo)致通信時(shí)間無法再隱藏了。從兩個(gè)不同的平臺(tái)中可以看出，當(dāng)一個(gè)應(yīng)用的數(shù)據(jù)規(guī)模確定后，一個(gè)應(yīng)用的運(yùn)行速度極值變化遠(yuǎn)比平臺(tái)性能提升的少（在擴(kuò)展性較好的應(yīng)用）。 選擇一個(gè)合適的并行度，既可以提升執(zhí)行的速度，又不對(duì)資源過多的浪費(fèi)，怎么選擇并行度也是多方面的考慮，速度優(yōu)先還是效率優(yōu)先？ 自己的機(jī)器估計(jì)還是速度優(yōu)先（資源夠的話） 如果用的是收費(fèi)資源可能還是效率優(yōu)先。 選擇并行度也是是需要有相當(dāng)?shù)慕?jīng)驗(yàn)，可能大多數(shù)情況下，都需要做實(shí)驗(yàn)，有經(jīng)驗(yàn)的會(huì)更快找到平衡點(diǎn)。 另外從不同的平臺(tái)的性能對(duì)比，其實(shí)也說明，不同的核，性能差距實(shí)在太大，核多看起來很美，但是誰用誰知道。 一個(gè)平臺(tái)的100核的效果還比不上另外一個(gè)平臺(tái)12核的效果�；颂嗟臅r(shí)間在優(yōu)化，還不如直接換個(gè)平臺(tái)更加省事和徹底。 搭建平衡的系統(tǒng)，也非常關(guān)鍵，說起來容易，其實(shí)做起來也太容易。 因?yàn)閿?shù)據(jù)不太全，也不能做個(gè)很深入的對(duì)比。大家先湊合著看吧，有機(jī)會(huì)可以再討論討論。 [ Last edited by zouming1979 on 2012-5-1 at 20:54 ] |
回復(fù)此樓» 收錄本帖的淘帖專輯推薦
 并行計(jì)算 |
» 本帖已獲得的紅花（最新10朵）
awmc2008» 猜你喜歡
0856調(diào)劑，是學(xué)校就去
已經(jīng)有7人回復(fù)
-
0817 化學(xué)工程 299分求調(diào)劑 有科研經(jīng)歷 有二區(qū)文章
已經(jīng)有14人回復(fù)
-
申博26年
已經(jīng)有3人回復(fù)
-
一志愿吉林大學(xué)材料學(xué)碩321求調(diào)劑
已經(jīng)有10人回復(fù)
-
0703化學(xué)調(diào)劑 ，六級(jí)已過，有科研經(jīng)歷
已經(jīng)有12人回復(fù)
-
294求調(diào)劑材料與化工專碩
已經(jīng)有13人回復(fù)
-
288求調(diào)劑
已經(jīng)有14人回復(fù)
-
307求調(diào)劑
已經(jīng)有8人回復(fù)
-
一志愿南京理工大學(xué)085701資源與環(huán)境302分求調(diào)劑
已經(jīng)有5人回復(fù)
-
288求調(diào)劑，一志愿華南理工大學(xué)071005
已經(jīng)有5人回復(fù)
» 本主題相關(guān)商家推薦: (我也要在這里推廣)
» 本主題相關(guān)價(jià)值貼推薦，對(duì)您同樣有幫助:
- 中科院上海應(yīng)用物理研究所招聘——核能專項(xiàng)（核物理、粒子物理、反應(yīng)堆相關(guān)）
已經(jīng)有68人回復(fù)
- 多核現(xiàn)象的基因敲除
已經(jīng)有9人回復(fù)
- 中國(guó)科學(xué)院上海應(yīng)用物理研究所釷基熔鹽堆核能系統(tǒng)（TMSR）萃取分離方向招聘
已經(jīng)有13人回復(fù)
- 中科院上海應(yīng)用物理研究所核能項(xiàng)目招聘氣體監(jiān)測(cè)凈化人員（氣體凈化組）
已經(jīng)有22人回復(fù)
- 請(qǐng)教：葉綠體、線粒體、細(xì)胞核DNA的相互關(guān)系
已經(jīng)有7人回復(fù)
- 光子晶體用SiO_2/Ag/SiO_2核殼結(jié)構(gòu)亞微米微球制備與性能研究及其自組裝
已經(jīng)有5人回復(fù)
- 旋轉(zhuǎn)蒸發(fā)儀旋干后要做核磁，還要用油泵抽么，一般要抽多長(zhǎng)時(shí)間呢？？
已經(jīng)有29人回復(fù)
- 【求助】成核劑改善聚合物力學(xué)性能~~~~
已經(jīng)有10人回復(fù)
- 求助 色素化學(xué)--有機(jī)染料和顏料的合成性能和應(yīng)用(原著第3版)
已經(jīng)有17人回復(fù)
2樓2012-05-01 11:07:33
zouming1979
捐助貴賓 (小有名氣)
- 應(yīng)助: 13 (小學(xué)生)
- 金幣: 5405.8
- 帖子: 83
- 在線: 54.5小時(shí)
- 蟲號(hào): 1733983
- 注冊(cè): 2012-04-03
- 性別: GG
- 專業(yè): 計(jì)算機(jī)體系結(jié)構(gòu)
★ ★
fzx2008: 金幣+2, 謝謝指教 2012-05-01 21:31:14
fzx2008: 金幣+2, 謝謝指教 2012-05-01 21:31:14
|
多機(jī)并行，基本都采用基于消息傳遞的機(jī)制MPI，在程序中顯示的發(fā)送和接收消息。這個(gè)是通過網(wǎng)絡(luò)設(shè)備將數(shù)據(jù)發(fā)出去，延遲和帶寬都受到網(wǎng)絡(luò)設(shè)備的限制。 同機(jī)并行（節(jié)點(diǎn)內(nèi)并行）可以采用MPI通信，也可以采用openmp（自動(dòng)多線程技術(shù)），采用多線程進(jìn)程，由于一個(gè)進(jìn)程內(nèi)的地址空間是共享的，多個(gè)線程之間的數(shù)據(jù)傳遞可以通過共享內(nèi)存的機(jī)制（必須加上鎖，避免多個(gè)線程同時(shí)讀寫數(shù)據(jù)，造成數(shù)據(jù)不一致），直接在內(nèi)存中傳遞，延遲可以極大的降低，帶寬也可以極大的增加。 節(jié)點(diǎn)內(nèi)如果采用MPI通信，如果使用優(yōu)化的MPI庫(kù)，也可以被自動(dòng)在內(nèi)存中傳遞，減小開銷。 |
» 本帖已獲得的紅花（最新10朵）
3樓2012-05-01 11:22:18
uuv2010
榮譽(yù)版主 (職業(yè)作家)
- 1ST強(qiáng)帖: 6
- 應(yīng)助: 160 (高中生)
- 貴賓: 3.14
- 金幣: 3681.7
- 散金: 5802
- 紅花: 79
- 沙發(fā): 35
- 帖子: 4560
- 在線: 916小時(shí)
- 蟲號(hào): 966216
- 注冊(cè): 2010-03-09
- 性別: GG
- 專業(yè): 凝聚態(tài)物性 II ：電子結(jié)構(gòu)
- 管轄: 第一性原理
4樓2012-05-02 09:43:07
5樓2012-05-02 10:34:48
zouming1979
捐助貴賓 (小有名氣)
- 應(yīng)助: 13 (小學(xué)生)
- 金幣: 5405.8
- 帖子: 83
- 在線: 54.5小時(shí)
- 蟲號(hào): 1733983
- 注冊(cè): 2012-04-03
- 性別: GG
- 專業(yè): 計(jì)算機(jī)體系結(jié)構(gòu)
★ ★
WDD880227: 金幣+2, 感謝您回帖交流 2012-05-02 18:36:56
WDD880227: 金幣+2, 感謝您回帖交流 2012-05-02 18:36:56
|
評(píng)價(jià)計(jì)算性能目前最直觀的是處理器型號(hào)，這個(gè)實(shí)際上決定了這個(gè)計(jì)算機(jī)系統(tǒng)的絕大部分性能。計(jì)算系統(tǒng)是圍繞著處理器來設(shè)計(jì)的。CPU內(nèi)部?jī)?yōu)化有很多地方，跑LINPACK的時(shí)候，峰值都差不多，但是跑應(yīng)用的時(shí)候，性能可以差好幾倍。 其次是網(wǎng)絡(luò)，網(wǎng)絡(luò)的延遲和帶寬是并行應(yīng)用的核心，很多并行應(yīng)用的最大的瓶頸就在網(wǎng)絡(luò)上。網(wǎng)絡(luò)不好，加速比無從談起。 IO（磁盤訪問）也是非常重要的一部分，部分應(yīng)用對(duì)IO極為敏感，我所知道的Nastran，就是這樣一個(gè)應(yīng)用，改善IO性能，其他條件不變的情況下，性能可能提高2-3倍。并行文件系統(tǒng)的能力非常重要，NFS在很多情況下就是罪惡的根源。  內(nèi)存大小當(dāng)然也是關(guān)鍵，有些應(yīng)用內(nèi)存不夠，直接跑不出來，有的應(yīng)用具有相當(dāng)?shù)倪m應(yīng)能力，在小內(nèi)存的情況下也能跑，但是性能就有幾倍的差距。有時(shí)候內(nèi)存需要量太大了，所以不得不依靠IO，IO性能就很關(guān)鍵了。 [ Last edited by zouming1979 on 2012-5-2 at 12:52 ] |
6樓2012-05-02 12:50:58
awmc2008
至尊木蟲 (文壇精英)
學(xué)習(xí)者
- 應(yīng)助: 62 (初中生)
- 金幣: 13666.6
- 紅花: 10
- 帖子: 12258
- 在線: 736.8小時(shí)
- 蟲號(hào): 600677
- 注冊(cè): 2008-09-12
- 性別: GG
- 專業(yè): 凝聚態(tài)物性 II ：電子結(jié)構(gòu)
7樓2012-05-02 18:06:24
相關(guān)版塊跳轉(zhuǎn)
我要訂閱樓主 zouming1979 的主題更新
| 7 | 1/1 | 返回列表 |
| 最具人氣熱帖推薦 [查看全部] | 作者 | 回/看 | 最后發(fā)表 | |
|---|---|---|---|---|
|
[考研] 招收調(diào)劑碩士 +4 | lidianxing 2026-03-19 | 10/500 |
|
|---|---|---|---|---|
|
[考研] 一志愿天津大學(xué)化學(xué)工藝專業(yè)（081702）315分求調(diào)劑 +11 | yangfz 2026-03-17 | 11/550 |
|
|
|
[考研] 求調(diào)劑 +3 | Mqqqqqq 2026-03-19 | 3/150 |
|
|
|
[考研] 287求調(diào)劑 +3 | 晨昏線與星海 2026-03-19 | 4/200 |
|
|
|
[考研] 332求調(diào)劑 +3 | ydfyh 2026-03-17 | 3/150 |
|
|
|
[考研] 0703化學(xué)調(diào)劑 +8 | 妮妮ninicgb 2026-03-15 | 12/600 |
|
|
|
[考研] 085410人工智能專碩317求調(diào)劑（0854都可以） +3 | xbxudjdn 2026-03-18 | 3/150 |
|
|
|
[考研] 26調(diào)劑/材料/英一數(shù)二/總分289/已過A區(qū)線 +7 | 步川酷紫123 2026-03-13 | 7/350 |
|
|
|
[考研] 085601專碩，總分342求調(diào)劑，地區(qū)不限 +5 | share_joy 2026-03-16 | 5/250 |
|
|
|
[考研] 298-一志愿中國(guó)農(nóng)業(yè)大學(xué)-求調(diào)劑 +7 | 手機(jī)用戶 2026-03-17 | 7/350 |
|
|
|
[考研] 0703化學(xué)求調(diào)劑 總分331 +3 | ZY-05 2026-03-13 | 3/150 |
|
|
|
[考研] 工科材料085601 279求調(diào)劑 +6 | 困于星晨 2026-03-17 | 6/300 |
|
|
|
[考研] 環(huán)境工程調(diào)劑 +8 | 大可digkids 2026-03-16 | 8/400 |
|
|
|
[考博] 26申博 +4 | 八6八68 2026-03-16 | 4/200 |
|
|
|
[考研] 333求調(diào)劑 +3 | 文思客 2026-03-16 | 7/350 |
|
|
|
[考研] 318求調(diào)劑 +3 | Yanyali 2026-03-15 | 3/150 |
|
|
|
[考研] 327求調(diào)劑 +6 | 拾光任染 2026-03-15 | 11/550 |
|
|
|
[考研] 085601材料工程315分求調(diào)劑 +3 | yang_0104 2026-03-15 | 3/150 |
|
|
|
[考研] 330求調(diào)劑 +3 | ?醬給調(diào)劑跪了 2026-03-13 | 3/150 |
|
|
|
[考研] ［0860］321分求調(diào)劑，ab區(qū)皆可 +4 | 寶貴熱 2026-03-13 | 4/200 |
|