 |
 |
 |
 |
 |
 |
||
 |
 |
 |
 |
 |
| 5 | 1/1 | 返回列表 |
| 查看: 5848 | 回復(fù): 16 | ||||||
| 當(dāng)前只顯示滿足指定條件的回帖，點(diǎn)擊這里查看本話題的所有回帖 | ||||||
walkera金蟲 (初入文壇)
|
[交流]
Linux集群rocks的安裝和SGE管理調(diào)度MS5.5作業(yè) 已有10人參與
|
|||||
|
很多人在討論集群和MS的安裝以及作業(yè)調(diào)度系統(tǒng)的設(shè)置。這里給一個(gè)我的設(shè)置，供參考。 第一部分 集群的安裝 推薦大家使用Rocks進(jìn)行安裝。下載地址 http://www.rocksclusters.org/wordpress/?page_id=400 這是2012年5月9日放出的最新版本（開發(fā)代號Mamba,也就是非洲的曼巴蛇）。該集群安裝軟件基于最新的linux CentOS 6.2，它和RHEL 6.2完全等價(jià)，同時(shí)也是免費(fèi)的。 DVD鏡像文件大小2.5GB�？啼洺蒁VD就可以了。放入DVD安裝盤，啟動機(jī)器后，在第一個(gè)畫面鍵入 build 然后根據(jù)提示，進(jìn)行簡單的設(shè)置和選擇，就可以安裝。網(wǎng)上也有很多介紹，可以參閱。 以安裝ROCKS 6.0 x86_64為例，安裝時(shí)至少選擇kernel（內(nèi)核），base（基礎(chǔ)）和OS（操作系統(tǒng)，也就是CentOS 6.2） 這三個(gè)包（或者稱roll，卷）。建議再選上ganglia卷（集群運(yùn)行狀態(tài)監(jiān)控包）和SGE卷（Sun Grid Engine， 也就是SUN公司的任務(wù)調(diào)度系統(tǒng)，因?yàn)镾UN已經(jīng)被甲骨文ORACLE公司收購，現(xiàn)在已經(jīng)更名為OGE）。 安裝過程非常簡單，只要按照安裝指南（官網(wǎng)有下載的）進(jìn)行就可以。主節(jié)點(diǎn)要求含2個(gè)網(wǎng)卡（但是現(xiàn)在這個(gè)最新的版本已經(jīng)不是必須的，可以只有單網(wǎng)卡，個(gè)人認(rèn)為還是雙網(wǎng)卡方便），分別鏈接內(nèi)網(wǎng)（和計(jì)算節(jié)點(diǎn)相連）和外網(wǎng)（和你的windows電腦連接），內(nèi)網(wǎng)的IP地址取默認(rèn)值（10.1.1.1）就行（隨便修改也沒有問題）,外網(wǎng)地址則和你的windows機(jī)器在同一網(wǎng)段，方便登錄。 注意到一點(diǎn)就是前端機(jī)的機(jī)器名必須是合格的全稱（類似于互聯(lián)網(wǎng)上的網(wǎng)址，域名）。 上面是前端機(jī)（frontend）的安裝，計(jì)算節(jié)點(diǎn)的安裝非常簡單，只要在windows機(jī)器上使用遠(yuǎn)程登錄方法（推薦使用SSH Client）進(jìn)入前端機(jī)，在根用戶下，鍵入 # insert-ethers 出現(xiàn)一個(gè)畫面后，再敲一下回車（也就是連續(xù)2次回車）。 按后將你需要安裝的計(jì)算節(jié)點(diǎn)，與前端機(jī)的內(nèi)網(wǎng)卡連接到同一個(gè)交換機(jī)上，這里分2種情況： 1 將計(jì)算節(jié)點(diǎn)設(shè)置成網(wǎng)絡(luò)啟動（PXE，主板自帶網(wǎng)卡的機(jī)器都支持這個(gè)功能），PXE啟動機(jī)器，然后前端機(jī)會自動找到這臺機(jī)器，然后安裝操作系統(tǒng)。 2 如果主板沒有內(nèi)置網(wǎng)卡或者內(nèi)置的網(wǎng)卡是百兆網(wǎng)卡，則建議使用額外接入的千兆網(wǎng)卡（速度快點(diǎn)總是沒錯(cuò)的）。如果是外接的網(wǎng)卡，一般卡上沒有ROM塊（可以看到絕大多數(shù)的網(wǎng)卡電路板上有個(gè)很大的插槽，并且絕大多數(shù)是空的，我印象中沒有看見過不空的），不能做到網(wǎng)絡(luò)PXE啟動，只好設(shè)置成cdrom啟動（內(nèi)置或者外置USB光驅(qū)都可以），然后將那張rocks DVD放入，光盤啟動機(jī)器，直接回車也可以，或者不需要敲任何鍵只是干等也行，機(jī)器很快會被前端機(jī)發(fā)現(xiàn)，然后自動安裝操作系統(tǒng)。 更詳細(xì)的方法，請參考官網(wǎng)的指南（這個(gè)指南幾乎是手把手地指導(dǎo)如何安裝集群）。 安裝完成后，可以在你與前端機(jī)相連的windows機(jī)器的瀏覽器（IE或者firefox等）上，鍵入 http://IP-address/ganglia/ 這里的IP-address就是你安裝前端機(jī)時(shí)給的IP地址（外網(wǎng)地址）。這時(shí)候就可以看到你的集群所有節(jié)點(diǎn)的運(yùn)行情況（必須選擇ganglia安裝卷才有這樣的功能哦，非常好的一個(gè)功能）。 這時(shí)候，集群就已經(jīng)建立好了。 第二部分 MS的安裝 1 上面的rocks 6.0安裝完成后，有些安裝MS時(shí)需要的庫文件默認(rèn)沒有安裝，因此先將幾個(gè)庫文件安裝。（這些庫文件的安裝在前端機(jī)上是必須的，但是在計(jì)算節(jié)點(diǎn)上，如果不安裝，我暫時(shí)也沒有發(fā)現(xiàn)問題） 其中l(wèi)ibstdc++.so.6復(fù)制到/usr/lib/下，libgcc….rpm（只需要i686版本，而x86-64版本的庫文件在前面的系統(tǒng)安裝過程中已經(jīng)默認(rèn)安裝）和compat-libstdc++….rpm（i686和x86_64版本均安裝）。 # cp libstdc++.so.6 /usr/lib/ # rpm -ivh libgcc-4.4.6-3.el6.i686.rpm # rpm -ivh compat-libstdc++-33-3.2.3-69.el6.i686.rpm # rpm -ivh compat-libstdc++-33-3.2.3-69.el6.x86_64.rpm 以上文件中，第一個(gè)文件libstdc++.so.6可以在已經(jīng)安裝過linux的 /usr/lib中找到，后3個(gè)rpm文件在ROCKS 6.0安裝光盤找到，然后把它們復(fù)制出來就可以了（有點(diǎn)奇怪的是它們?yōu)樯恫粫诎惭b集群時(shí)自動安裝呢）。 2 hpmpi的安裝，注意，它一定要在前端機(jī)和每一個(gè)計(jì)算節(jié)點(diǎn)上安裝，否則機(jī)器肯定出錯(cuò)。在前端機(jī)上的安裝，必須在安裝MS之前完成。 # rpm -ivh hpmpi-2.03.01.00-20090402r.x86_64.rpm 這個(gè)文件在MS的安裝包中可以找到。 3 MS5.5的安裝 登錄前端機(jī)，添加一個(gè)普通用戶（和密碼），然后鍵入命令 # rocks sync users 注意，上面這個(gè)命令一定要運(yùn)行一次。 接下來就可以用這個(gè)新加的普通用戶登錄并進(jìn)行MS的安裝。以下是以普通用戶身份安裝。 可以參考網(wǎng)上的介紹，使用命令： $ …/UNIX/Install --type cluster 進(jìn)行安裝，基本可以使用默認(rèn)的設(shè)置，如默認(rèn)的文件夾，和使用SSH等，臨時(shí)文件地址選擇/tmp. 安裝的license文件中的機(jī)器名也應(yīng)該是你上面給出的全稱（可以用hostname查看你的前端機(jī)的機(jī)器名）。 修改~/Accelrys/MaterialsStudio55/share/data/下的machine.LINUX文件加上 compute-0-0:n compute-0-1:n compute-0-2:n … 這里的compute-0-0就是計(jì)算節(jié)點(diǎn)名，n是每個(gè)節(jié)點(diǎn)可以提供的cpu（線程）數(shù)（現(xiàn)在一般為4或者8）。 修改../../Gateway/root_default/dsd/conf/下的2個(gè)文件gw-info.sbd和gwparams.cfg文件中的cputotal數(shù)，注意這個(gè)數(shù)要不大于machine.LINUX文件中給的CPU線程總數(shù)。 這時(shí)候集群已經(jīng)可以運(yùn)行MS了。但是如果需要作業(yè)調(diào)度，則進(jìn)行SGE設(shè)置。 第三部分SGE的設(shè)置 注意SGE必須在安裝前端機(jī)的同時(shí)選擇安裝。如果安裝好前端機(jī)后，再安裝SGE，ROCKS的官方手冊上明確指出是不行的。SGE在各個(gè)計(jì)算節(jié)點(diǎn)的配置，已經(jīng)隨著節(jié)點(diǎn)的安裝就完成了。 SGE可以用于MS5.5的作業(yè)調(diào)度,默認(rèn)在安裝rocks的時(shí)候已經(jīng)建立一個(gè)名為all.q的隊(duì)列。 設(shè)置SGE一定是根用戶，或者先以根用戶指定一個(gè)普通用戶為管理員才有資格。首先修改all.q中的shell相關(guān)的參數(shù)，將其中的第一個(gè)sh改成bash (因?yàn)閞ocks默認(rèn)使用bash,但是SGE默認(rèn)使用csh)，使用命令： # qconf –mq all.q 然后用上下鍵找一下，和一般的LINUX文本編輯vi一樣操作，按一下小寫字母i即可開始編輯了。All.q的配置內(nèi)容很豐富，可以用上面的命令運(yùn)行后，編輯修改很多參數(shù)，例如可以指定提交的用戶，cpu數(shù)包括每個(gè)計(jì)算節(jié)點(diǎn)供應(yīng)的cpu數(shù)等。 當(dāng)然，我們也可以建立另外的隊(duì)列，用戶組和用戶，然后進(jìn)行配置。還是不要自找麻煩吧，就用這個(gè)默認(rèn)的就行了。 然后修改SGE的默認(rèn)配置文件conf # qconf –mconf （同上操作） 也將其中的shell從默認(rèn)的csh改成bash 如果直接將安裝MS的用戶的shell改成csh（修改/etc/passwd文件中的相應(yīng)用戶參數(shù)），估計(jì)就不用修改這里的shell了，但是我沒有測試。 至此配置完成，可以使用qstat/qstat -Q/qstat -q/qstat -f等命令查看隊(duì)列狀態(tài)。（和torque差不多） 配置MS網(wǎng)關(guān) 假設(shè)MS安裝在默認(rèn)位置，設(shè)置使用SGE管理作業(yè)： $ cd ~/Accelrys/MaterialsStudio55/etc/Gateway/config/ ./configure queue -queuepath SGE/dsd_sge –activate 運(yùn)行成功后，我們發(fā)現(xiàn)在../../Gateway/root_default/dsd/conf/下的文件gw-info.sbd中的原來的 queuingsystem=[NONE] 已經(jīng)自動修改成 Queuingsystem=Sun Grid Engine 6.2u5 在gwparams.cfg文件中，可以設(shè)置參數(shù) gw_queuingsystem=SGE 不過如果不設(shè)置，好像也沒有什么問題。 然后重啟網(wǎng)關(guān) $ cd ~/Accelrys/MaterialsStudio55/etc/Gateway $ ./msgateway_control_18888 restart Windows下的設(shè)置： 在Sever Console下刷新服務(wù)器，確認(rèn)服務(wù)器屬性中的queue里有all.q隊(duì)列。在提交計(jì)算任務(wù)里的queue選上all.q，就可以運(yùn)行或者排隊(duì)等待了. 因?yàn)镾GE是按照均衡負(fù)載的原則安排cpu的使用的。假如，集群中有10個(gè)節(jié)點(diǎn)（每一個(gè)節(jié)點(diǎn)提供8個(gè)線程）可以供MS使用，而提交作業(yè)選中20個(gè)cpu（線程），則每個(gè)節(jié)點(diǎn)將分擔(dān)2個(gè)cpu（線程）的計(jì)算任務(wù)（按照公平原則），如果選中25個(gè)CPU，則將是5個(gè)節(jié)點(diǎn)各承擔(dān)3個(gè)CPU，另外5個(gè)節(jié)點(diǎn)承擔(dān)2個(gè)CPU，以此類推。如果需要的CPU數(shù)小于可用數(shù)，則這個(gè)作業(yè)掛起（稱為queued and waiting, 使用命令qstat –f,可以看到該作業(yè)的狀態(tài)是 qw），排隊(duì)等待前面的任務(wù)完成后，騰出足夠使用的CPU，才能進(jìn)入運(yùn)行狀態(tài)。因此，這里要求機(jī)器是均構(gòu)的，也就是每個(gè)節(jié)點(diǎn)的cpu和內(nèi)存等是一樣的（大家跑得一樣快），否則所有機(jī)器的運(yùn)行速度都和最慢的那臺一樣，造成資源浪費(fèi)。 通過SGE提交用于計(jì)算的節(jié)點(diǎn)可以和MS的機(jī)器配置文件machine.LINUX文件中的機(jī)器列表沒有任何關(guān)系，僅僅要求線程數(shù)不大于machine.LINUX中給的總線程數(shù)。 在rocks的安裝包還有一個(gè)condor卷，具有可以配合SGE進(jìn)行高級配置的功能（類似于PBS中的toruqe + maui），但網(wǎng)上的介紹很少，有待學(xué)習(xí)。 關(guān)于SGE的設(shè)置，參考了小木蟲上網(wǎng)友veryman關(guān)于PBS（torque）設(shè)置的帖子，在此表示感謝。 我們使用rocks，可以非常方便地完成集群的建立，同時(shí)SGE的設(shè)置也跟隨建立集群的過程中，直接完成配置，我們做的就是稍微修改幾行配置文件（增減了幾個(gè)字母而已）。而對于計(jì)算節(jié)點(diǎn)，除了安裝hpmpi以外，也可以不需要進(jìn)行其他設(shè)置了。 這里也可以看到，SGE的作業(yè)調(diào)度設(shè)置要遠(yuǎn)比PBS(torque)的設(shè)置簡單。更重要的是，有帖子指出，新版本的MS不支持torque了。Accelrys公司官網(wǎng)指出：There is no official support for TORQUE in Materials Studio。從MS的幫助文件中可以看到，MS5.5是支持SGE的（好像只支持PBS pro， LSF和SGE三種），因此使用SGE，就是和MS官方保持一致了。而對于torque的安裝，Accelrys公司官方給了一個(gè)補(bǔ)�。�https://community.accelrys.com/message/6992#6992。因此，想繼續(xù)使用torque的網(wǎng)友也沒有問題了，參照著設(shè)置一下，而且這個(gè)設(shè)置支持最新的MS5.5和MS6.0。 聲明，我是上月才開始鼓搗SGE的，因此很多設(shè)置也沒搞明白，也在學(xué)習(xí)中，希望獲得更多幫助。SGE的使用和簡單說明可以在網(wǎng)上找，甲骨文公司的官網(wǎng)上也有相應(yīng)的文檔可以看。 還有一點(diǎn)，安裝MS4.3好像另外需要libstdc++.so.5庫文件，我試驗(yàn)了一次，沒有成功安裝MS4.3。也許是因?yàn)槲覀兊腖INUX版本太高了，呵呵。centos6.2的內(nèi)核版本號：2.6.32-220.13.1.e16.x86_64, 2011年12月才出，目前沒有更新的版本放出。如有需要，可以到www.centos.org上免費(fèi)下載幾乎所有版本的LINUX，它和RHEL的各種版本是一一對應(yīng)的，例如centos 6.2等于RHEL 6.2。而MS 6.0版本的RHEL最高支持到6.1版本。 同時(shí)在這里感謝蟲友shxincui518的幫助。 如果這個(gè)帖子對大家有幫助，我將非常高興。 [ Last edited by walkera on 2012-5-24 at 10:54 ] |
回復(fù)此樓» 收錄本帖的淘帖專輯推薦
 第一原理資料匯編 | Materials Modeling | PBS作業(yè)排隊(duì)系統(tǒng) |
» 本帖已獲得的紅花（最新10朵）
stefsui» 猜你喜歡
309求調(diào)劑
已經(jīng)有8人回復(fù)
-
一志愿南航 335分 | 0856 | GPA 4.07 | 有科研經(jīng)歷
已經(jīng)有8人回復(fù)
-
求調(diào)劑
已經(jīng)有5人回復(fù)
-
求化學(xué)調(diào)劑
已經(jīng)有5人回復(fù)
-
085600，材料與化工321分求調(diào)劑
已經(jīng)有10人回復(fù)
-
0703 化學(xué) 求調(diào)劑，一志愿山東大學(xué) 342 分
已經(jīng)有5人回復(fù)
-
一志愿南開大學(xué)0710生物學(xué)359求調(diào)劑
已經(jīng)有3人回復(fù)
-
085600，專業(yè)課化工原理，320分求調(diào)劑
已經(jīng)有4人回復(fù)
-
材料與化工272求調(diào)劑
已經(jīng)有16人回復(fù)
-
290求調(diào)劑
已經(jīng)有3人回復(fù)
» 本主題相關(guān)價(jià)值貼推薦，對您同樣有幫助:
- Linux集群增加新用戶的問題
已經(jīng)有6人回復(fù)
- 做vasp計(jì)算，是購買服務(wù)器還是繼續(xù)購買機(jī)時(shí)
已經(jīng)有34人回復(fù)
- linux裝軟件遇到一個(gè)問題
已經(jīng)有10人回復(fù)
- Accelrys Materials Studio 5.5 x86
已經(jīng)有26人回復(fù)
- ms從PC 利用gateway連接到服務(wù)器的問題
已經(jīng)有3人回復(fù)
- 關(guān)于linux下的任務(wù)管理軟件比如PBS
已經(jīng)有10人回復(fù)
- MS5.5的安裝包及安裝教程，圖文并茂，簡單易懂。
已經(jīng)有187人回復(fù)
- linux 的SSH連接
已經(jīng)有7人回復(fù)
- Linux下MS5.5安裝成功，但只能在管理節(jié)點(diǎn)運(yùn)行，無法在計(jì)算節(jié)點(diǎn)并行運(yùn)行
已經(jīng)有5人回復(fù)
- 2012年12月-Materials studio 6.1版本會
已經(jīng)有10人回復(fù)
- MS5.5遠(yuǎn)程計(jì)算網(wǎng)關(guān)的設(shè)置問題
已經(jīng)有6人回復(fù)
- MS6.0安裝問題
已經(jīng)有4人回復(fù)
- MS連接gateway出錯(cuò)。
已經(jīng)有3人回復(fù)
- 集群上的用戶管理
已經(jīng)有34人回復(fù)
jq120
木蟲 (正式寫手)
- 應(yīng)助: 26 (小學(xué)生)
- 金幣: 2544.5
- 散金: 130
- 帖子: 417
- 在線: 422.8小時(shí)
- 蟲號: 312047
- 注冊: 2006-12-30
- 專業(yè): 人工晶體
5樓2012-05-24 13:04:53
stefsui
木蟲 (小有名氣)
- 應(yīng)助: 11 (小學(xué)生)
- 金幣: 2252.3
- 散金: 114
- 紅花: 1
- 帖子: 155
- 在線: 472.7小時(shí)
- 蟲號: 872985
- 注冊: 2009-10-15
- 專業(yè): 理論和計(jì)算化學(xué)
2樓2012-05-24 08:37:46
stefsui
木蟲 (小有名氣)
- 應(yīng)助: 11 (小學(xué)生)
- 金幣: 2252.3
- 散金: 114
- 紅花: 1
- 帖子: 155
- 在線: 472.7小時(shí)
- 蟲號: 872985
- 注冊: 2009-10-15
- 專業(yè): 理論和計(jì)算化學(xué)
3樓2012-05-24 08:40:08
xiaozhigang
金蟲 (著名寫手)
- 應(yīng)助: 1 (幼兒園)
- 金幣: 4003.8
- 散金: 606
- 帖子: 1073
- 在線: 470.4小時(shí)
- 蟲號: 979030
- 注冊: 2010-03-22
- 性別: GG
- 專業(yè): 半導(dǎo)體材料
4樓2012-05-24 09:34:17
| 最具人氣熱帖推薦 [查看全部] | 作者 | 回/看 | 最后發(fā)表 | |
|---|---|---|---|---|
|
[考研] 一志愿南昌大學(xué)324求調(diào)劑 +5 | hanamiko 2026-03-29 | 5/250 |
|
|---|---|---|---|---|
|
|
[考研] 340求調(diào)劑 +6 | Amber00 2026-03-26 | 6/300 |
|
|
[考研] 2026年華南師范大學(xué)歡迎化學(xué)，化工，生物，生醫(yī)工等專業(yè)優(yōu)秀學(xué)子加入！ +3 | llss0711 2026-03-28 | 6/300 |
|
|
|
[考研] 305求調(diào)劑 +8 | RuiFairyrui 2026-03-28 | 8/400 |
|
|
|
[考研] 生物學(xué)學(xué)碩，一志愿湖南大學(xué)，初試成績338 +6 | YYYYYNNNNN 2026-03-26 | 7/350 |
|
|
|
[考研] 295材料工程專碩求調(diào)劑 +7 | 1428151015 2026-03-27 | 7/350 |
|
|
|
[考研] 一志愿華北電力大學(xué)能動專碩，293，求調(diào)劑 +3 | 15537177284 2026-03-23 | 5/250 |
|
|
|
[考研] 347求調(diào)劑 +3 | 山頂見α 2026-03-25 | 3/150 |
|
|
|
[考研] 085405 考的11408求各位老師帶走 +3 | Qiu學(xué)ing 2026-03-28 | 3/150 |
|
|
|
[考研] 295求調(diào)劑 +5 | 1428151015 2026-03-27 | 6/300 |
|
|
|
[考研] 086000調(diào)劑 +3 | 7901117076 2026-03-26 | 3/150 |
|
|
|
[考研] 266分求材料化工冶金礦業(yè)等專業(yè)的調(diào)劑 +4 | 哇呼哼呼哼 2026-03-26 | 4/200 |
|
|
|
[考研] 322求調(diào)劑 +4 | 我真的很想學(xué)習(xí) 2026-03-23 | 4/200 |
|
|
|
[考研] 調(diào)劑 +3 | 李嘉圖·S·路 2026-03-27 | 3/150 |
|
|
|
[考研] 276求調(diào)劑。有半年電池和半年高分子實(shí)習(xí)經(jīng)歷 +10 | 材料學(xué)257求調(diào)劑 2026-03-23 | 11/550 |
|
|
|
[考研] 求調(diào)劑 +6 | 林之夕 2026-03-24 | 6/300 |
|
|
|
[考研] 324求調(diào)劑 +8 | hanamiko 2026-03-26 | 10/500 |
|
|
|
[考研] 求b區(qū)院校調(diào)劑 +4 | 周56 2026-03-24 | 5/250 |
|
|
|
[考研] 一志愿國科過程所081700，274求調(diào)劑 +3 | 三水研0水立方 2026-03-23 | 3/150 |
|
|
|
[考研] 328求調(diào)劑 +4 | LHHL66 2026-03-23 | 4/200 |
|