| 2 | 1/1 | 返回列表 |
| 查看: 1019 | 回復(fù): 1 | |||
[交流]
基因測(cè)序5年增速500倍!摩爾定律怎么辦?
|
|
【導(dǎo)語】:蘇州大學(xué)醫(yī)學(xué)部承擔(dān)著多項(xiàng)國家級(jí)基因研究項(xiàng)目,隨著基因測(cè)序速度的提高,高性能計(jì)算平臺(tái)的要求也水漲船高。為更好的開展基因組研究,蘇州大學(xué)醫(yī)學(xué)部啟用了浪潮高性能計(jì)算平臺(tái),該平臺(tái)投入運(yùn)行后,測(cè)序數(shù)據(jù)處理量從原來的每天500GB提高到了4TB,從512核到1152核的運(yùn)行效率提高了4倍。 在基因組學(xué)研究中,高通量測(cè)序是最重要的數(shù)據(jù)來源。然而,高通量測(cè)序技術(shù)的飛速發(fā)展,在給基因組學(xué)研究帶來極大便利的同時(shí),也帶來了“幸福的煩惱”:單次測(cè)序數(shù)據(jù)量的大幅度提升,使得基因組學(xué)研究從原來的“測(cè)的沒有算的快”,變?yōu)槿缃竦摹八愕臎]有測(cè)的快”。眾多基因研究機(jī)構(gòu)對(duì)更高性能的數(shù)據(jù)處理平臺(tái),產(chǎn)生了更加迫切的需求,蘇州大學(xué)醫(yī)學(xué)部也是其中的一員。 測(cè)序速度五年提升500倍!摩爾定律怎么破? 最近幾年,高通量測(cè)序技術(shù)的發(fā)展比摩爾定律還要更快,如2005年的Roche 454測(cè)序儀運(yùn)行一次可產(chǎn)生400MB左右的基因序列文件,而2010年的Illumina HiSeq 2000運(yùn)行一次,可以產(chǎn)生200GB的基因序列文件,測(cè)序速度在短短的五年內(nèi)提升了500倍。 以HiSeq 2000測(cè)序儀為例,其單臺(tái)每月能產(chǎn)生6TB數(shù)據(jù),而大型科研機(jī)構(gòu)可能會(huì)有幾十臺(tái)測(cè)序儀(華大基因在2010年的時(shí)候,就擁有137臺(tái)Illumina HiSeq),每年的數(shù)據(jù)產(chǎn)出量將達(dá)到PB量級(jí)。 這些數(shù)據(jù)產(chǎn)出后,需要不斷增加存儲(chǔ)服務(wù)器容量以滿足需求,下一步就是進(jìn)行數(shù)據(jù)處理,如進(jìn)行序列比對(duì)、序列拼接等,需要大內(nèi)存胖節(jié)點(diǎn)機(jī)器才能滿足運(yùn)行需求,尤其針對(duì)序列拼接應(yīng)用。此外,在數(shù)據(jù)處理中如果是多用戶同時(shí)訪問數(shù)據(jù)或訪問存儲(chǔ)介質(zhì),那么并發(fā)訪問和計(jì)算造成的網(wǎng)絡(luò)壓力、磁盤I/O壓力都可能從不同程度限制應(yīng)用運(yùn)行效率,進(jìn)而影響科研進(jìn)度。 因此,如何從這些海量數(shù)據(jù)中“淘金”,已經(jīng)成為基因組研究中現(xiàn)實(shí)面臨的重大問題,對(duì)大規(guī)模的高性能計(jì)算平臺(tái)提出更高要求,其中對(duì)存儲(chǔ)容量、存儲(chǔ)數(shù)據(jù)安全性有很高的要求,并且對(duì)計(jì)算機(jī)的運(yùn)算速度、內(nèi)存容量、內(nèi)存帶寬、網(wǎng)絡(luò)帶寬等方面也有不同程度的需求。 以摩爾定律增長的計(jì)算速度,該如何應(yīng)對(duì)測(cè)序速度超常規(guī)的增長? 破題:胖瘦結(jié)合、軟硬一體 在蘇州大學(xué)醫(yī)學(xué)部高性能計(jì)算平臺(tái)的建設(shè)上,浪潮以軟硬一體的高性能計(jì)算集群方案,給出了答案。 蘇州大學(xué)醫(yī)學(xué)部現(xiàn)階段主要運(yùn)行GROMACS、NAMD、LAMMPS、VASP、Gaussian等應(yīng)用軟件,其中前三種屬于MPI編程,后兩種屬于OpenMP編程類型。這兩種編程對(duì)通訊速率、內(nèi)存帶寬的要求不一樣。根據(jù)這些軟件的特點(diǎn),浪潮制定了胖瘦節(jié)點(diǎn)結(jié)合、基于英特爾®至強(qiáng)®E5-2600系列的高性能天梭TS10000集群系統(tǒng)解決方案,其中瘦節(jié)點(diǎn)采用浪潮NF5270M3服務(wù)器,該服務(wù)器是雙路架構(gòu)并具備智能計(jì)算加速技術(shù),比較適合GROMACS,NAMD,LAMMPS等適合跨節(jié)點(diǎn)運(yùn)行的分布式內(nèi)存程序。而在胖節(jié)點(diǎn)方面則采用浪潮NF8520四路服務(wù)器 ,該服務(wù)器具備非常穩(wěn)定的品質(zhì),最大支持40顆物理核心,80個(gè)線程,支持1TB的超大內(nèi)存空間,比較適合VASP、Gaussian等適合共享大內(nèi)存的程序。這種胖瘦結(jié)合的節(jié)點(diǎn)架構(gòu),能更好的滿足不同計(jì)算任務(wù)的需求,充分發(fā)揮系統(tǒng)效能。 整個(gè)系統(tǒng)的計(jì)算網(wǎng)絡(luò)采用業(yè)界主流的56Gbps全線速Infiniband網(wǎng)絡(luò),并且采用了模塊化Infiniband交換機(jī),相對(duì)于小交換機(jī)堆疊網(wǎng)絡(luò)可靠性高,易管理,且能夠節(jié)省1/2數(shù)量的線纜,從而充分滿足系統(tǒng)的高速通信需求。 而存儲(chǔ)系統(tǒng)采用浪潮TSExaStor并行文件系統(tǒng)存儲(chǔ),TSExaStor是浪潮依托“高效能服務(wù)器和存儲(chǔ)技術(shù)國家重點(diǎn)試驗(yàn)室”,為滿足高性能科學(xué)計(jì)算領(lǐng)域?qū)Υ鎯?chǔ)的苛刻要求,自主研發(fā)的高帶寬、高IOPS的統(tǒng)一存儲(chǔ)系統(tǒng)。采用多控制器體系架構(gòu),具有高度安全性的特性;支持PB級(jí)容量擴(kuò)展,全局統(tǒng)一命名空間,性能隨容量的增加而線性提升;支持圖形化監(jiān)控界面,實(shí)時(shí)監(jiān)控文件系統(tǒng)各種參數(shù);支持多種備份機(jī)制,定制化的備份策略,可選擇備份到其它文件系統(tǒng)。 除此之外,浪潮自主開發(fā)的智能化、專用定制化的Cluster Engine高性能計(jì)算服務(wù)平臺(tái),具有更多人性化功能,幫助用戶更快的構(gòu)建系統(tǒng)、更好的應(yīng)用系統(tǒng)、完善的管理系統(tǒng),提升整體集群的使用效果,保證了用戶良好的應(yīng)用。 浪潮高性能計(jì)算平臺(tái)投入運(yùn)行后,蘇州大學(xué)醫(yī)學(xué)部的測(cè)序數(shù)據(jù)處理量從原來的每天500GB提高到了4TB,從512核到1152核的運(yùn)行效率提高了4倍。 生命科學(xué)是浪潮傳統(tǒng)的優(yōu)勢(shì)領(lǐng)域。早在2010年,浪潮HPC就在高教行業(yè)生命科學(xué)細(xì)分市場(chǎng)取得了占有率第一的成績。而基于對(duì)生命科學(xué)領(lǐng)域的專業(yè)應(yīng)用的理解,以及豐富的異構(gòu)架構(gòu)的應(yīng)用移植經(jīng)驗(yàn),也使得浪潮在生命科學(xué)領(lǐng)域,獲得了更多像蘇州大學(xué)醫(yī)學(xué)部這樣新用戶的認(rèn)可。 |
|
| 2 | 1/1 | 返回列表 |
| 最具人氣熱帖推薦 [查看全部] | 作者 | 回/看 | 最后發(fā)表 | |
|---|---|---|---|---|
|
[考研] 07化學(xué)280分求調(diào)劑 +7 | 722865 2026-03-23 | 7/350 |
|
|---|---|---|---|---|
|
[考研] 一志愿中南大學(xué)化學(xué)學(xué)碩0703總分337求調(diào)劑 +6 | niko- 2026-03-22 | 6/300 |
|
|
[考研] 一志愿武理085500機(jī)械專業(yè)總分300求調(diào)劑 +3 | an10101 2026-03-24 | 7/350 |
|
|
[考研] 085601求調(diào)劑總分293英一數(shù)二 +3 | 鋼鐵大炮 2026-03-24 | 3/150 |
|
|
[考研] 311求調(diào)劑 +3 | 冬十三 2026-03-24 | 3/150 |
|
|
[考研] 食品專碩 一志愿雙一流 328 +3 | xiaom99 2026-03-21 | 4/200 |
|
|
[考研] 【考研調(diào)劑】化學(xué)專業(yè) 281分,一志愿四川大學(xué),誠心求調(diào)劑 +15 | 吃吃吃才有意義 2026-03-19 | 16/800 |
|
|
[考研] 一志愿北化315 求調(diào)劑 +3 | akrrain 2026-03-24 | 3/150 |
|
|
[考研] 335求調(diào)劑 +4 | yuyu宇 2026-03-23 | 5/250 |
|
|
[考研] 求調(diào)劑 +7 | 十三加油 2026-03-21 | 7/350 |
|
|
[考研] 化學(xué)308分求調(diào)劑 +3 | 你好明天你好 2026-03-23 | 3/150 |
|
|
[考研] 一志愿武理材料工程348求調(diào)劑 +6 |  ̄^ ̄゜汗 2026-03-19 | 9/450 |
|
|
[考研] 070300,一志愿北航320求調(diào)劑 +3 | Jerry0216 2026-03-22 | 5/250 |
|
|
[考研] 276求調(diào)劑 +3 | YNRYG 2026-03-21 | 4/200 |
|
|
[考研] 324求調(diào)劑 +6 | lucky呀呀呀鴨 2026-03-20 | 6/300 |
|
|
[考研] 生物學(xué)調(diào)劑 +5 | Surekei 2026-03-21 | 5/250 |
|
|
[考研]
|
Grand777 2026-03-21 | 3/150 |
|
|
[考研] 求調(diào)劑 +4 | 要好好無聊 2026-03-21 | 4/200 |
|
|
[考研] 求調(diào)劑 +3 | 13341 2026-03-20 | 3/150 |
|
|
[考研] 265求調(diào)劑 +12 | 梁梁校校 2026-03-19 | 14/700 |
|