| 查看: 4409 | 回復(fù): 41 | ||||
| 本帖產(chǎn)生 1 個(gè) 計(jì)算強(qiáng)帖 ,點(diǎn)擊這里進(jìn)行查看 | ||||
zhangguangping木蟲 (著名寫手)
|
[交流]
遇到實(shí)驗(yàn)室有些同學(xué)不按章程用集群怎么辦? 已有15人參與
|
|||
|
我們集群使用的是Troque+maui,自從使用之后,結(jié)束了原始的機(jī)群使用方式。但是問題也出來了:有些同學(xué)覺得排隊(duì)等候很費(fèi)時(shí),不想等候。所以他們找到了一個(gè)漏洞。對(duì)于像高斯這樣的軟件,需要在高斯輸入文件中指定并行使用的核數(shù),同時(shí)需要在PBS腳本中指定一個(gè)申請(qǐng)資源的核數(shù)。 漏洞出來了:如果高斯文件里面設(shè)定的核數(shù)比PBS腳本中指定的核數(shù)小,那么高斯一旦運(yùn)行是按照高斯文件中指定的核數(shù)來運(yùn)行。簡(jiǎn)單的說,這種情況下,PBS腳本中的核數(shù)僅僅起一個(gè)限制何時(shí)得到資源作用。因此,為了使自己的任務(wù)盡快得到資源(因?yàn)樯暾?qǐng)資源的時(shí)候?qū)懙暮藬?shù)越多,平均說來需要等候的時(shí)間越多)。這樣就在PBS腳本中少寫,而高斯輸入文件中多寫。這樣就能做到減少等候時(shí)間的目的。并且一旦高斯任務(wù)被分派到節(jié)點(diǎn)上運(yùn)行起來,如果原來節(jié)點(diǎn)上有任務(wù),那么高斯就開始發(fā)揮自己強(qiáng)大的搶奪資源的優(yōu)勢(shì),對(duì)其他任務(wù)進(jìn)資源搶奪,并且如果該節(jié)點(diǎn)還有空閑資源的話(在Troque看來有空閑資源,但實(shí)際上已經(jīng)被高斯偷偷占用了),還能阻止后來的任務(wù)被分到該節(jié)點(diǎn)上。因?yàn)殡m然Torque認(rèn)為那個(gè)節(jié)點(diǎn)上有空閑資源,但是maui會(huì)認(rèn)為那上面的空閑資源不足以滿足使用的條件,原因很簡(jiǎn)單,高斯偷偷霸占了一些。所以會(huì)出現(xiàn)明明這個(gè)節(jié)點(diǎn)上有空閑資源,但是任務(wù)就是分配不到這個(gè)節(jié)點(diǎn)上來。 補(bǔ)充:對(duì)于Torque+maui任何軟件都可以用這個(gè)方法來欺騙管理軟件。 對(duì)于這種情況我開始不明白他們?yōu)槭裁催@樣做,并且屢次警告不止。 如果你是管理員,面對(duì)這樣的同學(xué),你會(huì)怎么處理?前提我僅僅是他們的一個(gè)師兄而已,或許在他們心里,我連一個(gè)師兄都不是了已經(jīng)。 [ Last edited by zhangguangping on 2012-4-6 at 01:50 ] |
材料計(jì)算模擬實(shí)用技巧 |

金蟲 (文壇精英)
老漢一枚
|
不要指望老板做裁判。他才不關(guān)心什么公平不公平。他關(guān)心的是能不能出文章。 四策: 1、鼓動(dòng)急于發(fā)論文、急于畢業(yè)者,砍殺盜火者; 2、有敢于頂風(fēng)作案者,坐實(shí)證據(jù); 3、做刀筆吏,先斬而不奏,殺一儆百; 4、防漏網(wǎng)者誣告,事先寫好規(guī)章制度,請(qǐng)老板簽字發(fā)布。 有此四策,憾天易,憾集群管理員難。 又及:此“憾”字,源自某街邊小店,后送至故宮博物院。 |
|
這種情況技術(shù)上總是可以想辦法的,比如樓上說的巡視腳本。 然而真正難辦的的人,如果,如果這個(gè)不守規(guī)矩的到老板那里訴苦加拍馬,老板很可能會(huì)給予特權(quán)的(這種事以前是發(fā)生過的),而且通常一個(gè)人得逞之后會(huì)有更多的效法者,老板的態(tài)度也會(huì)早令夕改,特權(quán)用戶會(huì)一天天增多,然后問題是沒法解決的。 而且技術(shù)總會(huì)有漏洞的。所以管理員是個(gè)吃力不討好的活。 對(duì)于這個(gè)問題,關(guān)鍵在于老板。 私底下說說警告一下,只有不是嚴(yán)重干擾集群運(yùn)作一般就睜一眼閉一眼了。實(shí)在不行就全殺掉,然后向所有人通報(bào)說有一個(gè)技術(shù)故障(不要讓人知道是你殺的),xx天內(nèi)可能無法登錄啥的,然后就有人來拍你馬屁了,你心情好就幫著快點(diǎn)解決,他還會(huì)感謝你。 ---對(duì)了,這個(gè)只是適用于小集群,小組。 如果是計(jì)算中心一類的大型集群還是得技術(shù)上盡可能去除漏洞,規(guī)則執(zhí)行也得鐵面冷血一些。 [ Last edited by quanta on 2012-4-11 at 22:37 ] |
木蟲 (初入文壇)
滿地打滾
|
可以寫一個(gè)腳本檢測(cè)某任務(wù)在PBS腳本中申請(qǐng)使用的CPU資源數(shù)以及其在某節(jié)點(diǎn)上實(shí)際使用的CPU資源數(shù),當(dāng)實(shí)際值大于申請(qǐng)值時(shí)將任務(wù)殺死或暫停。腳本放入cron每小時(shí)運(yùn)行一次執(zhí)行這種檢測(cè)就會(huì)讓他們受不了,用不了一個(gè)星期所有人都會(huì)變得非常自覺,再也不會(huì)有任務(wù)被腳本處理掉。 我們集群以前問題雖然和你這個(gè)不同,但是也差不多,導(dǎo)師各種強(qiáng)調(diào)也不起作用,總會(huì)有人圖方便。后來上了這種管理機(jī)制,就再也不是人與人的對(duì)抗,而是機(jī)器與人的對(duì)抗了,相信沒有人會(huì)樂意傻傻地與機(jī)器對(duì)抗的。 |

木蟲 (初入文壇)
滿地打滾
|
哦,對(duì)了,這個(gè)腳本只需要在管理節(jié)點(diǎn)(排隊(duì)系統(tǒng) server 節(jié)點(diǎn))放一個(gè),計(jì)算節(jié)點(diǎn)不用做任何變動(dòng)。另外,有一個(gè)需要注意的地方,我只針對(duì) TORQUE 排隊(duì)系統(tǒng)做了實(shí)現(xiàn),不支持其他的排隊(duì)系統(tǒng)。關(guān)于操作系統(tǒng)倒是沒什么特殊的要求,一般的 Linux 系統(tǒng)應(yīng)該都可以,需要 BASH 支持。 |

鐵桿木蟲 (著名寫手)
金蟲 (正式寫手)
|
汗,沒想到還有這么投機(jī)倒把的。技術(shù)層面的不懂,給你點(diǎn)非技術(shù)的建議,如果嚴(yán)重影響集群正常運(yùn)行,勸說無效的話,你就得跟你們課題組負(fù)責(zé)人講一下了。他應(yīng)該會(huì)給各導(dǎo)師說一下這個(gè)情況,讓學(xué)生不要再這么做?紤]到有些人表面一套背地一套,肯定會(huì)繼續(xù)我行我素,那你就繼續(xù)向上提意見。直到你們負(fù)責(zé)人拿出個(gè)處罰措施,比如限制登錄多少天之類的。 如果沒有影響到正常運(yùn)行,那就睜一只眼閉一只眼吧。 |
木蟲 (著名寫手)

木蟲 (著名寫手)

鐵桿木蟲 (著名寫手)

木蟲 (著名寫手)

榮譽(yù)版主 (文壇精英)

金蟲 (文壇精英)
老漢一枚
| 內(nèi)容已刪除 |
| 最具人氣熱帖推薦 [查看全部] | 作者 | 回/看 | 最后發(fā)表 | |
|---|---|---|---|---|
|
[考研] 266求調(diào)劑 +5 | 陽陽哇塞 2026-03-14 | 9/450 |
|
|---|---|---|---|---|
|
[考研]
|
.6lL 2026-03-18 | 3/150 |
|
|
[考研] 288求調(diào)劑,一志愿華南理工大學(xué)071005 +4 | ioodiiij 2026-03-17 | 4/200 |
|
|
[考研] 0703化學(xué)求調(diào)劑 總分331 +3 | ZY-05 2026-03-13 | 3/150 |
|
|
[考研] 一志愿中國(guó)海洋大學(xué),生物學(xué),301分,求調(diào)劑 +3 | 1孫悟空 2026-03-17 | 3/150 |
|
|
[考研] 326求調(diào)劑 +5 | 上岸的小葡 2026-03-15 | 6/300 |
|
|
[考研] 考研調(diào)劑 +3 | 淇ya_~ 2026-03-17 | 5/250 |
|
|
[考研]
|
zhouzhen654 2026-03-16 | 3/150 |
|
|
[考研] 0854控制工程 359求調(diào)劑 可跨專業(yè) +3 | 626776879 2026-03-14 | 9/450 |
|
|
[考研] 一志愿211 0703方向310分求調(diào)劑 +3 | 努力奮斗112 2026-03-15 | 3/150 |
|
|
[考研] 0703化學(xué)調(diào)劑 +6 | 妮妮ninicgb 2026-03-15 | 9/450 |
|
|
[考研] 中科院材料273求調(diào)劑 +4 | yzydy 2026-03-15 | 4/200 |
|
|
[考研] 一志愿華中師范071000,325求調(diào)劑 +6 | RuitingC 2026-03-12 | 6/300 |
|
|
[考研] 22408總分284求調(diào)劑 +3 | InAspic 2026-03-13 | 3/150 |
|
|
[考研] 材料與化工 323 英一+數(shù)二+物化,一志愿:哈工大 本人本科雙一流 +4 | 自由的_飛翔 2026-03-13 | 5/250 |
|
|
[考研] 中科大材料專碩319求調(diào)劑 +3 | 孟鑫材料 2026-03-13 | 3/150 |
|
|
[考研] 297一志愿上交085600求調(diào)劑 +5 | 指尖八千里 2026-03-14 | 5/250 |
|
|
[考研] 0856材料與化工301求調(diào)劑 +5 | 奕束光 2026-03-13 | 5/250 |
|
|
[考研] 070303一志愿西北大學(xué)學(xué)碩310找調(diào)劑 +3 | d如愿上岸 2026-03-13 | 3/150 |
|
|
[考研] 270求調(diào)劑 085600材料與化工專碩 +3 | YXCT 2026-03-11 | 3/150 |
|