460536813

新蟲 (初入文壇)

應(yīng)助: 0 (幼兒園)
金幣: 25.5
帖子: 17
在線: 11.2小時
蟲號: 1465562
注冊: 2011-10-28
專業(yè): 信號理論與信號處理

[求助] MPI文件分發(fā)

請問，我在MPI環(huán)境下，想把某個文件，比如說計算目標(biāo)參數(shù)文件，分發(fā)到各個節(jié)點(diǎn)，用什么方法比較好。

如果用my_id =0的節(jié)點(diǎn)讀文件，my_id!=0節(jié)點(diǎn)寫文件，感覺有點(diǎn)搓。。。MPI里面有沒有文件廣播分發(fā)的功能？

回復(fù)此樓

» 猜你喜歡

287求調(diào)劑已經(jīng)有8人回復(fù)
一志愿西北大學(xué) ，070300化學(xué)學(xué)碩，總分287，雙非一本，求調(diào)劑。已經(jīng)有4人回復(fù)
求調(diào)劑，一志愿:南京航空航天大學(xué)大學(xué) ，080500材料科學(xué)與工程學(xué)碩，總分289分已經(jīng)有4人回復(fù)
085600材料與化工已經(jīng)有8人回復(fù)
材料與化工 322求調(diào)劑已經(jīng)有4人回復(fù)
藥學(xué)383 求調(diào)劑已經(jīng)有5人回復(fù)
一志愿蘇州大學(xué)材料求調(diào)劑，總分315（英一）已經(jīng)有5人回復(fù)
324求調(diào)劑已經(jīng)有4人回復(fù)
一志愿南昌大學(xué)，327分，材料與化工085600 已經(jīng)有8人回復(fù)
350求調(diào)劑已經(jīng)有5人回復(fù)

» 本主題相關(guān)價值貼推薦，對您同樣有幫助:

提交電子材料時文件名中數(shù)字0和大寫字母O的問題已經(jīng)有23人回復(fù)
怎么通過perl語言將很多xsd文件一次性轉(zhuǎn)化為mol文件呢？已經(jīng)有4人回復(fù)
MPI的安裝(管理員和普通用戶均可) 已經(jīng)有34人回復(fù)
vasp跨節(jié)點(diǎn)運(yùn)行出錯，mpiexec_node-1 (handle_stdin_input 1089) 已經(jīng)有5人回復(fù)
一不小心裝了兩個MPI，怎么卸載？已經(jīng)有3人回復(fù)
請教vasp安裝中的mpi安裝已經(jīng)有16人回復(fù)
關(guān)于MPI并行編程的基本問題已經(jīng)有8人回復(fù)
C++下的mpi.h頭文件已經(jīng)有5人回復(fù)
【求助】CASTEP MPI 運(yùn)行錯誤已經(jīng)有6人回復(fù)
【求助】mpi vasp問題已經(jīng)有32人回復(fù)
【求助】安裝mpich2時如何產(chǎn)生mpicc及mpifort 已經(jīng)有9人回復(fù)
【求助】程序失敗MPI_Allreduce: malloc failed: See malloc(3C) for details 已經(jīng)有9人回復(fù)
【求助】vasp運(yùn)行時mpi報錯已經(jīng)有12人回復(fù)
【求助】安裝MPI 【已解決】已經(jīng)有7人回復(fù)

1樓 2012-03-22 18:39:06

已閱回復(fù)此樓關(guān)注TA 給TA發(fā)消息送TA紅花 TA的回帖

smart0193

木蟲 (小有名氣)

應(yīng)助: 15 (小學(xué)生)
金幣: 3224.1
紅花: 2
帖子: 200
在線: 76.7小時
蟲號: 1120220
注冊: 2010-10-12
性別: GG
專業(yè): 計算機(jī)應(yīng)用技術(shù)

【答案】應(yīng)助回帖

★
感謝參與，應(yīng)助指數(shù) +1
jjdg: 金幣+1, 感謝應(yīng)助 2012-03-23 02:58:07

我記得MPI-2.0里，有專門進(jìn)行文件并行讀寫的函數(shù)，你看看他的手冊，應(yīng)該有介紹。好久沒用MPI了。

贊一下

回復(fù)此樓

一個奮斗在三流高校的教育界民工

2樓2012-03-22 19:20:40

已閱回復(fù)此樓關(guān)注TA 給TA發(fā)消息送TA紅花 TA的回帖

lurencyj

木蟲 (著名寫手)

應(yīng)助: 159 (高中生)
金幣: 2869.2
散金: 520
紅花: 8
沙發(fā): 10
帖子: 1244
在線: 148.3小時
蟲號: 888093
注冊: 2009-10-29
性別: GG
專業(yè): 凝聚態(tài)物性I:結(jié)構(gòu)、力學(xué)和

【答案】應(yīng)助回帖

★
感謝參與，應(yīng)助指數(shù) +1
jjdg: 金幣+1, 感謝應(yīng)助 2012-03-23 02:58:15
余澤成: 專家考核 2012-03-30 14:06:43

不知道你說的分發(fā)是什么意思，我只知道變量是可以廣播的。

對于讀取文件內(nèi)容，我一般有兩種辦法，一種id=0的cpu讀取，然后廣播；一種是全部cpu都讀取。

對于寫文件，那只能讓一個CPU寫，或者各自寫進(jìn)不同名字的文件，然后，手動整合。

贊一下

回復(fù)此樓

很女子很弓雖大

3樓2012-03-22 20:16:05

已閱回復(fù)此樓關(guān)注TA 給TA發(fā)消息送TA紅花 TA的回帖

460536813

新蟲 (初入文壇)

應(yīng)助: 0 (幼兒園)
金幣: 25.5
帖子: 17
在線: 11.2小時
蟲號: 1465562
注冊: 2011-10-28
專業(yè): 信號理論與信號處理

引用回帖:

2樓: Originally posted by smart0193 at 2012-03-22 19:20:40:
我記得MPI-2.0里，有專門進(jìn)行文件并行讀寫的函數(shù)，你看看他的手冊，應(yīng)該有介紹。好久沒用MPI了。

不想讀寫能分發(fā)嗎

贊一下

回復(fù)此樓

4樓2012-03-28 12:44:43

已閱回復(fù)此樓關(guān)注TA 給TA發(fā)消息送TA紅花 TA的回帖

lurencyj

木蟲 (著名寫手)

應(yīng)助: 159 (高中生)
金幣: 2869.2
散金: 520
紅花: 8
沙發(fā): 10
帖子: 1244
在線: 148.3小時
蟲號: 888093
注冊: 2009-10-29
性別: GG
專業(yè): 凝聚態(tài)物性I:結(jié)構(gòu)、力學(xué)和

【答案】應(yīng)助回帖

★ ★
jjdg: 金幣+1, 感謝參與 2012-03-29 01:00:56
余澤成: 專家考核 2012-03-30 14:06:49
460536813: 金幣+1, ★★★很有幫助, 有理考慮其他東西不用MPI分發(fā)了 2012-04-27 12:58:11

除非有新的接口函數(shù)被mpi發(fā)布出來，否則沒有。

我想，一般也不會發(fā)布這樣的函數(shù)，原因很簡單，因為那樣的函數(shù)死板，沒有直接自己分?jǐn)倎淼挠行А?

贊一下

回復(fù)此樓

很女子很弓雖大

5樓2012-03-28 15:48:15

已閱回復(fù)此樓關(guān)注TA 給TA發(fā)消息送TA紅花 TA的回帖

libralibra

至尊木蟲 (著名寫手)

驃騎將軍

程序強(qiáng)帖: 40
應(yīng)助: 817 (博后)
金幣: 12914.1
紅花: 64
帖子: 2238
在線: 287.3小時
蟲號: 696514
注冊: 2009-02-05
專業(yè): 計算機(jī)軟件

【答案】應(yīng)助回帖

★ ★ ★
感謝參與，應(yīng)助指數(shù) +1
余澤成: 金幣+3, 專家考核, 謝謝參與應(yīng)助！ 2012-03-30 14:07:03

數(shù)據(jù)并行,你得先讀進(jìn)來,然后分發(fā)不同的部分給不同的cpu
你所謂的文件分發(fā)是什么,復(fù)制多份文件給不同的cpu?那還不如讀進(jìn)來數(shù)據(jù),然后分發(fā)數(shù)據(jù)
因為只要有一個cpu打開文件,文件就被鎖住了,直到釋放資源,其他cpu才會繼續(xù)讀取,
mpi程序要注意的就是同步問題,你這個需求不實(shí)際啊
只能:

1.master讀,然后分發(fā)數(shù)據(jù)到各個unit,計算完后collect數(shù)據(jù),寫結(jié)果;
2.每個unit都copy一份數(shù)據(jù),根據(jù)當(dāng)前unit的id計算offset,然后同時讀取各自數(shù)據(jù)計算,運(yùn)算結(jié)束自己寫自己的文件,最后master再copy所有文件,合并.

其實(shí)2的方案,所有unit讀寫一個文件也可以,可是得不斷測試文件讀寫狀態(tài),當(dāng)文件空閑時才能讀寫,跟1是一樣的,而且邏輯還不如1清楚.

贊一下

回復(fù)此樓

matlab/VB/python/c++/Java寫程序請發(fā)QQ郵件:790404545@qq.com

6樓2012-03-29 03:51:21

已閱回復(fù)此樓關(guān)注TA 給TA發(fā)消息送TA紅花 TA的回帖

460536813

新蟲 (初入文壇)

應(yīng)助: 0 (幼兒園)
金幣: 25.5
帖子: 17
在線: 11.2小時
蟲號: 1465562
注冊: 2011-10-28
專業(yè): 信號理論與信號處理

引用回帖:

6樓: Originally posted by libralibra at 2012-03-29 03:51:21:
數(shù)據(jù)并行,你得先讀進(jìn)來,然后分發(fā)不同的部分給不同的cpu
你所謂的文件分發(fā)是什么,復(fù)制多份文件給不同的cpu?那還不如讀進(jìn)來數(shù)據(jù),然后分發(fā)數(shù)據(jù)
因為只要有一個cpu打開文件,文件就被鎖住了,直到釋放資源,其他cpu才會 ...

你說的不就是我題設(shè)的那種方法么？
文件分發(fā) 保證每個節(jié)點(diǎn)都收到文件就可以要同步干嘛
不要把問題搞復(fù)雜～～

贊一下

回復(fù)此樓

7樓2012-04-27 12:56:39

已閱回復(fù)此樓關(guān)注TA 給TA發(fā)消息送TA紅花 TA的回帖

460536813

新蟲 (初入文壇)

應(yīng)助: 0 (幼兒園)
金幣: 25.5
帖子: 17
在線: 11.2小時
蟲號: 1465562
注冊: 2011-10-28
專業(yè): 信號理論與信號處理

引用回帖:

3樓: Originally posted by lurencyj at 2012-03-22 20:16:05:
不知道你說的分發(fā)是什么意思，我只知道變量是可以廣播的。

對于讀取文件內(nèi)容，我一般有兩種辦法，一種id=0的cpu讀取，然后廣播；一種是全部cpu都讀取。

對于寫文件，那只能讓一個CPU寫，或者各自寫進(jìn)不同名 ...

廣播我知道的就是分發(fā)一下么不需要同步什么的

贊一下

回復(fù)此樓

8樓2012-04-27 12:57:19

已閱回復(fù)此樓關(guān)注TA 給TA發(fā)消息送TA紅花 TA的回帖

libralibra

至尊木蟲 (著名寫手)

驃騎將軍

程序強(qiáng)帖: 40
應(yīng)助: 817 (博后)
金幣: 12914.1
紅花: 64
帖子: 2238
在線: 287.3小時
蟲號: 696514
注冊: 2009-02-05
專業(yè): 計算機(jī)軟件

引用回帖:

8樓: Originally posted by 460536813 at 2012-04-27 12:57:19:
廣播我知道的就是分發(fā)一下么不需要同步什么的

在collect之前最好同步一下,保證能收到所有的數(shù)據(jù)

贊一下

回復(fù)此樓

matlab/VB/python/c++/Java寫程序請發(fā)QQ郵件:790404545@qq.com

9樓2012-04-28 17:28:23

已閱回復(fù)此樓關(guān)注TA 給TA發(fā)消息送TA紅花 TA的回帖

wangjiang381

銅蟲 (初入文壇)

應(yīng)助: 2 (幼兒園)
金幣: 88.9
帖子: 32
在線: 2.8小時
蟲號: 2095232
注冊: 2012-10-30
性別: GG
專業(yè): 功能與智能高分子

不錯

回復(fù)此樓

10樓2012-11-08 21:08:49

已閱回復(fù)此樓關(guān)注TA 給TA發(fā)消息送TA紅花 TA的回帖

最具人氣熱帖推薦 [查看全部]	作者	回/看	最后發(fā)表

[考研] 求調(diào)劑，一志愿:南京航空航天大學(xué)大學(xué) ，080500材料科學(xué)與工程學(xué)碩，總分289分 +4	@taotao 2026-03-19	4/200	2026-03-20 22:14 by JourneyLucky
[考研] 北科281學(xué)碩材料求調(diào)劑 +5	tcxiaoxx 2026-03-20	5/250	2026-03-20 21:35 by laoshidan
[考研] 265求調(diào)劑 +12	梁梁校校 2026-03-19	13/650	2026-03-20 21:01 by 無際的草原
[考研] 材料與化工專碩調(diào)劑 +7	heming3743 2026-03-16	7/350	2026-03-20 19:31 by zhukairuo
[考研] 一志愿南理工085701環(huán)境302求調(diào)劑院校 +3	葵梓衛(wèi)隊 2026-03-20	3/150	2026-03-20 19:28 by zhukairuo
[考研] 299求調(diào)劑 +3	shxchem 2026-03-20	4/200	2026-03-20 19:23 by zhukairuo
[考研] 工科材料085601 279求調(diào)劑 +7	困于星晨 2026-03-17	9/450	2026-03-20 17:38 by 無懈可擊111
[考研] 0703化學(xué)調(diào)劑 +10	妮妮ninicgb 2026-03-15	14/700	2026-03-19 22:59 by 學(xué)員8dgXkO
[考研] 0703化學(xué) 305求調(diào)劑 +4	FY_yy 2026-03-14	4/200	2026-03-19 05:54 by anny19840123
[考研] 328求調(diào)劑，英語六級551，有科研經(jīng)歷 +3	生物工程調(diào)劑 2026-03-17	7/350	2026-03-18 20:41 by Wangjingyue
[考研] 材料專碩306英一數(shù)二 +10	z1z2z3879 2026-03-16	13/650	2026-03-18 14:20 by 007_lilei
[考研] 070300化學(xué)319求調(diào)劑 +6	錦鯉0909 2026-03-17	6/300	2026-03-18 13:22 by Iveryant
[考研] 085601求調(diào)劑 +4	Du.11 2026-03-16	4/200	2026-03-17 17:08 by ruiyingmiao
[考博] 26申博 +4	八6八68 2026-03-16	4/200	2026-03-17 13:00 by 輕松不少隨
[考研] 材料工程專碩274一志愿211求調(diào)劑 +6	薛云鵬 2026-03-15	6/300	2026-03-17 11:05 by 學(xué)員h26Tkc
[考研] 東南大學(xué)364求調(diào)劑 +5	JasonYuiui 2026-03-15	5/250	2026-03-16 21:28 by 木瓜膏
[考研] 304求調(diào)劑 +3	曼殊2266 2026-03-14	3/150	2026-03-16 16:39 by houyaoxu
[考研] 0703化學(xué)調(diào)劑 290分有科研經(jīng)歷，論文在投 +7	膩膩gk 2026-03-14	7/350	2026-03-16 10:12 by houyaoxu
[考研] 085601材料工程315分求調(diào)劑 +3	yang_0104 2026-03-15	3/150	2026-03-15 10:58 by peike
[考研] 080500，材料學(xué)碩302分求調(diào)劑學(xué)校 +4	初識可樂 2026-03-14	5/250	2026-03-14 21:08 by peike