版塊導航: 正在加載中...

登錄注冊

應《網絡安全法》要求，自2017年10月1日起，未進行實名認證將不得使用互聯(lián)網跟帖服務。為保障您的帳號能夠正常使用，請盡快對帳號進行手機號驗證，感謝您的理解與支持！

24小時熱門版塊排行榜

返回列表

wuy069

鐵桿木蟲 (正式寫手)

應助: 20 (小學生)
金幣: 7921.9
散金: 15
紅花: 10
帖子: 506
在線: 549.1小時
蟲號: 760723
注冊: 2009-04-30
性別: GG
專業(yè): 理論和計算化學

[求助] 請教：用Shell, awk, perl等語言實現(xiàn)監(jiān)視SGE集群節(jié)點和任務

請教：用Shell, awk, perl等語言實現(xiàn)監(jiān)視SGE集群節(jié)點和任務
簡單的bash shell和awk語言會點，但弄個復雜的腳本，功底還是不夠

下面的格式有點錯位，我把相應的內容以附件粘貼了。

[wuy@cluster test]$ qhost -j
HOSTNAME             ARCH       NCPU  LOAD  MEMTOT  MEMUSE  SWAPTO  SWAPUS
-------------------------------------------------------------------------------
global                -             -    -    -    -    -    -
compute-0-0          lx26-amd64    4  2.97 3.9G 3.5G 4.0G 2.9G
job-ID  prior name    user       state submit/start at    queue    master ja-task-ID
----------------------------------------------------------------------------------------------
      6 0.50500 test1.sh wuy       r    12/09/2012 14:47:26 all.q@comp MASTER
      7 0.60500 test4.sh wuy       r    12/09/2012 14:47:26 all.q@comp MASTER
                                                                  all.q@comp SLAVE
                                                                  all.q@comp SLAVE
compute-0-1          lx26-amd64    4  3.56 3.9G 3.8G 4.0G 3.1G
job-ID  prior name    user       state submit/start at    queue    master ja-task-ID
----------------------------------------------------------------------------------------------
      8 0.60500 test2.sh tester    r    12/09/2012 14:48:52 all.q@comp MASTER
                                                                  all.q@comp SLAVE
                                                                  all.q@comp SLAVE
      9 0.60500 test3.sh tester    r    12/09/2012 14:48:52 all.q@comp MASTER
                                                                  all.q@comp SLAVE
                                                                  all.q@comp SLAVE
在compute-0-0節(jié)點上有兩個任務6和7，所用的cpu分別為1和2；在compute-0-1節(jié)點上有兩個任務8和9，所用的cpu分別為2和2.
使用Shell, awk, perl等語言獲得的命令腳本打印輸出下面所示：
------------------------------------------------------------------------------------------------
  node       state load ncpu mem memuse swapto  swapus  tasks  jobids/users
------------------------------------------------------------------------------------------------
compute-0-0 free 2.97    4 3.9G 3.5G    4.0G 2.9G    3    6/wuy 7/wuy
compute-0-1 busy 3.56    4 3.9G 3.8G    4.0G 3.1G    4    8/tester 9/tester

其中，當node的LOAD為“-”時，相應node的state為down.

下面是根據(jù)qstat命令編寫腳本監(jiān)視任務的申請時間和逝去時間
[wuy@cluster test]$ qstat -u '*'
job-ID  prior name    user       state submit/start at    queue                         slots ja-task-ID
-----------------------------------------------------------------------------------------------------------------
   6 0.50500 test1.sh wuy       r    12/09/2012 14:47:26 all.q@compute-0-0.local          1
   7 0.60500 test4.sh wuy       r    12/09/2012 14:47:26 all.q@compute-0-0.local          2
   8 0.60500 test2.sh tester    r    12/09/2012 14:48:52 all.q@compute-0-1.local          2
   9 0.60500 test3.sh tester    r    12/09/2012 14:48:52 all.q@compute-0-1.local          2
[wuy@cluster test]$ qstat -j 6 |grep h_rt
hard resource_list:       h_rt=3600
得到的申請時間（reqtime）為3600s，改為小時制：1:00:00
逝去的時間（elaptime)為現(xiàn)在的時間`date`減去任務開始的時間

使用Shell, awk, perl等語言獲得的命令腳本打印輸出下面所示
job-ID name    user       state submit/start at    queue                   slots reqtime    elaptime
--------------------------------------------------------------------------------------------------------------------
   6  test1.sh wuy       r    12/09/2012 14:47:26 all.q@compute-0-0.local    1    1:00:00    00:50:00
   7  test4.sh wuy       r    12/09/2012 14:47:26 all.q@compute-0-0.local    2    2:00:00    00:50:00
   8  test2.sh tester    r    12/09/2012 14:48:52 all.q@compute-0-1.local    2    5:00:00    00:48:34
   9  test3.sh tester    r    12/09/2012 14:48:52 all.q@compute-0-1.local    2    12:00:00    00:48:34[ Last edited by wuy069 on 2012-12-9 at 18:30 ]

回復此樓

» 本帖附件資源列表

歡迎監(jiān)督和反饋：小木蟲僅提供交流平臺，不對該內容負責。
本內容由用戶自主發(fā)布，如果其內容涉及到知識產權問題，其責任在于用戶本人，如對版權有異議，請聯(lián)系郵箱：xiaomuchong@tal.com
附件 1 : 求助.txt

2012-12-09 18:30:44, 4.22 K

» 猜你喜歡

» 本主題相關價值貼推薦，對您同樣有幫助:

鋼管混凝土桁架的單元選取問題已經有5人回復
鋼管混凝土桁架的建模問題已經有2人回復
請教蟲蟲們：我分配了50G的內存，gaussian報錯…… 已經有3人回復
用170，175單元耦合殼和梁，怎么設置材料屬性，實常數(shù)？和184有什么區(qū)別已經有0人回復
關于wien2k軟件安裝和配置問題請教各位高手！已經有8人回復
熱沉淀法合成上轉換納米離子求教已經有8人回復
SCF電子占據(jù) 已經有3人回復
又被督導（退休老師組成的）老師聽課！已經有22人回復
復合材料連續(xù)管ANSYS分析已經有13人回復
visual studio 2008 中的VB調用ansys時老是VB內部錯誤而關閉已經有8人回復
請教：用Shell, awk, perl等語言實現(xiàn)監(jiān)視SGE集群節(jié)點和任務已經有0人回復
請教C-Shell的Script如何獲取Elapsed Time 已經有2人回復
【求助】彈性力學-ansys-機械已經有8人回復
【求助】請教用高斯09算溶劑化單點時，怎樣得到溶劑中的Gibbs自由能？已經有9人回復
【請教】乙醇溶劑中ZnO納米粒子的制備？已經有14人回復
【求助】在計算含pt的吸收光譜的時候，居然出現(xiàn) l801錯誤，請教怎樣解決？已經有3人回復

1樓 2012-12-09 18:27:15

已閱回復此樓關注TA 給TA發(fā)消息送TA紅花 TA的回帖

tracel

木蟲 (正式寫手)

應助: 48 (小學生)
金幣: 4116.7
散金: 1052
紅花: 1
帖子: 314
在線: 2048.9小時
蟲號: 831941
注冊: 2009-08-21
專業(yè): 理論和計算化學

【答案】應助回帖

感謝參與，應助指數(shù) +1

看起來貌似很容易寫，shell+awk 就可以，不過把你命令的結果組合下就可以了。

不過實在沒看懂你需求是什么。你既然懂得腳本，不妨具體解決不了的問題貼出來，更方便一點。

贊一下

回復此樓

2樓2012-12-09 20:59:38

已閱回復此樓關注TA 給TA發(fā)消息送TA紅花 TA的回帖

wuy069

鐵桿木蟲 (正式寫手)

應助: 20 (小學生)
金幣: 7921.9
散金: 15
紅花: 10
帖子: 506
在線: 549.1小時
蟲號: 760723
注冊: 2009-04-30
性別: GG
專業(yè): 理論和計算化學

引用回帖:

2樓: Originally posted by tracel at 2012-12-09 20:59:38
看起來貌似很容易寫，shell+awk 就可以，不過把你命令的結果組合下就可以了。

不過實在沒看懂你需求是什么。你既然懂得腳本，不妨具體解決不了的問題貼出來，更方便一點。

嗯，shell+awk應該是能實現(xiàn)的，awk學的不咋好，一時半會整不出來
根據(jù)qhost -j命令輸出的結果，編寫一個腳本打印出：
------------------------------------------------------------------------------------------------
  node       state load ncpu mem memuse swapto  swapus  tasks  jobids/users
------------------------------------------------------------------------------------------------
compute-0-0 free 2.97    4 3.9G 3.5G    4.0G 2.9G    3    6/wuy 7/wuy
compute-0-1 busy 3.56    4 3.9G 3.8G    4.0G 3.1G    4    8/tester 9/tester
這是第一個腳本

第二個：
根據(jù)qstat -u ’*'和qstat -j jobid輸出的結果，編一個腳本輸出以下部分：
job-ID name    user       state submit/start at    queue                   slots reqtime    elaptime
--------------------------------------------------------------------------------------------------------------------
   6  test1.sh wuy       r    12/09/2012 14:47:26 all.q@compute-0-0.local    1    1:00:00    00:50:00
   7  test4.sh wuy       r    12/09/2012 14:47:26 all.q@compute-0-0.local    2    2:00:00    00:50:00
   8  test2.sh tester    r    12/09/2012 14:48:52 all.q@compute-0-1.local    2    5:00:00    00:48:34
   9  test3.sh tester    r    12/09/2012 14:48:52 all.q@compute-0-1.local    2    12:00:00    00:48:34

如果你覺得很容易，我可以給你提供個賬號，你在機器上可以編寫；方便的話，可把你的QQ號用站內消息發(fā)我，謝謝！

贊一下

回復此樓

3樓2012-12-09 21:20:59

已閱回復此樓關注TA 給TA發(fā)消息送TA紅花 TA的回帖

chembetsey

木蟲 (小有名氣)

應助: 125 (高中生)
金幣: 3820.1
散金: 5
紅花: 9
帖子: 262
在線: 281.8小時
蟲號: 1781694
注冊: 2012-04-27
專業(yè): 理論和計算化學

【答案】應助回帖

感謝參與，應助指數(shù) +1

100金幣太少了，給我500金幣，我給你寫。

贊一下

回復此樓

4樓2012-12-09 23:26:27

已閱回復此樓關注TA 給TA發(fā)消息送TA紅花 TA的回帖

tracel

木蟲 (正式寫手)

應助: 48 (小學生)
金幣: 4116.7
散金: 1052
紅花: 1
帖子: 314
在線: 2048.9小時
蟲號: 831941
注冊: 2009-08-21
專業(yè): 理論和計算化學

【答案】應助回帖

★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★
wuy069: 金幣+20, ★有幫助, 要考慮的因素還是挺多的，我有時間再弄吧 2012-12-10 08:07:09

qhost -j | awk '/compute/{b=1;a[b++]=$1;a[b++]=$3;a[b++]=$4;getline;getline;for(i=1;i<5;i++){getline;if(NF==9){a[b++]=$4"/"$1}};print a[1]"\t"a[2]"\t"a[3]"\t"a[4],a[5]}'

你照著這個自己再修改下吧，反正你應該是可以看懂的

贊一下

回復此樓

5樓2012-12-09 23:42:46

已閱回復此樓關注TA 給TA發(fā)消息送TA紅花 TA的回帖

wuy069

鐵桿木蟲 (正式寫手)

應助: 20 (小學生)
金幣: 7921.9
散金: 15
紅花: 10
帖子: 506
在線: 549.1小時
蟲號: 760723
注冊: 2009-04-30
性別: GG
專業(yè): 理論和計算化學

引用回帖:

4樓: Originally posted by chembetsey at 2012-12-09 23:26:27
100金幣太少了，給我500金幣，我給你寫。

沒問題，你只要寫好了，滿足我上面說的要求就行

贊一下

回復此樓

6樓2012-12-10 08:08:41

已閱回復此樓關注TA 給TA發(fā)消息送TA紅花 TA的回帖

chembetsey

木蟲 (小有名氣)

應助: 125 (高中生)
金幣: 3820.1
散金: 5
紅花: 9
帖子: 262
在線: 281.8小時
蟲號: 1781694
注冊: 2012-04-27
專業(yè): 理論和計算化學

【答案】應助回帖

★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ...
wuy069: 金幣+200, ★有幫助, 查看節(jié)點那腳本還是有問題，希望能進一步完善 2012-12-10 14:17:07

引用回帖:

6樓: Originally posted by wuy069 at 2012-12-10 08:08:41
沒問題，你只要寫好了，滿足我上面說的要求就行...

我寫出來了，你要是感興趣我發(fā)給你。

贊一下

回復此樓

7樓2012-12-10 12:46:24

已閱回復此樓關注TA 給TA發(fā)消息送TA紅花 TA的回帖

wuy069

鐵桿木蟲 (正式寫手)

應助: 20 (小學生)
金幣: 7921.9
散金: 15
紅花: 10
帖子: 506
在線: 549.1小時
蟲號: 760723
注冊: 2009-04-30
性別: GG
專業(yè): 理論和計算化學

引用回帖:

7樓: Originally posted by chembetsey at 2012-12-10 12:46:24
我寫出來了，你要是感興趣我發(fā)給你。...

謝謝！我站內消息聯(lián)系你了，里面有QQ和郵箱，你選擇一個發(fā)送就行

贊一下

回復此樓

8樓2012-12-10 13:45:36

已閱回復此樓關注TA 給TA發(fā)消息送TA紅花 TA的回帖

tracel

木蟲 (正式寫手)

應助: 48 (小學生)
金幣: 4116.7
散金: 1052
紅花: 1
帖子: 314
在線: 2048.9小時
蟲號: 831941
注冊: 2009-08-21
專業(yè): 理論和計算化學

引用回帖:

7樓: Originally posted by chembetsey at 2012-12-10 12:46:24
我寫出來了，你要是感興趣我發(fā)給你。...

貼出來，大家學習下寫法嘛

贊一下

回復此樓

9樓2012-12-10 16:51:07

已閱回復此樓關注TA 給TA發(fā)消息送TA紅花 TA的回帖

chembetsey

木蟲 (小有名氣)

應助: 125 (高中生)
金幣: 3820.1
散金: 5
紅花: 9
帖子: 262
在線: 281.8小時
蟲號: 1781694
注冊: 2012-04-27
專業(yè): 理論和計算化學

【答案】應助回帖

★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ...
wuy069: 金幣+100, ★★★很有幫助, 能否繼續(xù)完善，下面有回帖說明。 2012-12-11 08:42:40
wuy069: 金幣+200, ★★★很有幫助, 麻煩你了 2012-12-11 09:14:44
wuy069: 金幣+10, ★★★★★最佳答案, 非常感謝�。�！ 2012-12-12 08:09:55

引用回帖:

9樓: Originally posted by tracel at 2012-12-10 16:51:07
貼出來，大家學習下寫法嘛...

既然你感興趣，我也沒必要敝帚自珍了。

查看節(jié)點Qnod

CODE:

 [font=Courier New]

qhost -j | \

awk ' BEGIN {

        print "------------------------------------------------------------------------------------------------"

        print " Node                    Load    Ncpu   Mem   MemUse     Swap  SwapUse    State  Task  Job/User"

        print "------------------------------------------------------------------------------------------------"

        Njob=0

        Ntsk=0

        }

/lx26-amd64/ {

        if(Ntsk>0) {

                if(Ntsk>=Ncpu) printf("%8s %4d   ", "Busy", Ntsk)

                else printf("%8s %4d   ", "Free", Ntsk)

        }

        for(i=1; i<=Njob; i++) {

                printf(" %s/%s", Ijob[i], Ujob[i])

        }

        if(Njob>0) print ""

        Njob=0

        Ntsk=0

        Ncpu=$3

        printf("%-20s %8s %4s %8s %8s %8s %8s", $1, $4, $3, $5, $6, $7, $8)

}

/@.+/ {

        if(NF>4) {

                Njob=Njob+1

                Ijob[Njob]=$1

                Ujob[Njob]=$4

        }

        Ntsk=Ntsk+1

}

END { if(Ntsk>0) {

                if(Ntsk>=Ncpu) printf("%8s %4d   ", "Busy", Ntsk)

                else printf("%8s %4d   ", "Free", Ntsk)

         }

        for(i=1; i<=Njob; i++) printf(" %s/%s", Ijob[i], Ujob[i])

        print ""

        print "------------------------------------------------------------------------------------------------"

}

'

輸出

------------------------------------------------------------------------------------------------

 Node                    Load    Ncpu   Mem   MemUse     Swap  SwapUse    State  Task  Job/User

------------------------------------------------------------------------------------------------

cluster                  2.99    4     3.9G     1.2G     4.0G      0.0    Free    3    29/wuy 30/wuy

------------------------------------------------------------------------------------------------

[/font]

查看作業(yè)Qjob

CODE:

 [font=Courier New]

qstat -u '*' | \

awk ' BEGIN { getline; getline

                print "---------------------------------------------------------------------------------------------------------------"

                print " Job-ID   Name        User  State     Start Time           Queue               Slots     ReqTime     ElapTime"

                print "---------------------------------------------------------------------------------------------------------------"

        }

        {        if(NF==9) printf("%4d %12s %8s %4s %20s %25s %4d", $1, $3, $4, $5, $6" "$7, $8, $9)

                else printf("%4d %12s %8s %4s %20s %25s %4d", $1, $3, $4, $5, $6" "$7, " ", $8)

                "qstat -j " $1 " | grep h_rt" | getline Treq

                sub(/hard resource_list:.+h_rt=/, "", Treq)

                printf(" %12s", dTime(Treq))

                "date --date=\""$6" "$7"\" +%s" | getline Nsec

                printf(" %12s\n", dTime(systime()-Nsec))

        }

END {                 print "---------------------------------------------------------------------------------------------------------------"}

function dTime(Nsec) {

        return int(Nsec/86400)":"int((Nsec%86400)/3600)":"int((Nsec%3600)/60)":"Nsec%60

}

'

輸出

---------------------------------------------------------------------------------------------------------------

 Job-ID   Name        User  State     Start Time           Queue               Slots     ReqTime     ElapTime

---------------------------------------------------------------------------------------------------------------

  29   gmstest1.s      wuy    r  12/10/2012 15:11:37       all.q@cluster.local    1     50:0:0:0   0:14:38:47

  30   gmstest2.s      wuy    r  12/10/2012 15:12:07       all.q@cluster.local    2     50:0:0:0   0:14:38:18

  31     core3.sh      wuy   qw  12/10/2012 15:12:27                              3      0:1:0:0   0:14:37:58

---------------------------------------------------------------------------------------------------------------

[/font]

贊一下

回復此樓

10樓2012-12-11 06:03:29

已閱回復此樓關注TA 給TA發(fā)消息送TA紅花 TA的回帖

相關版塊跳轉我要訂閱樓主 wuy069 的主題更新

返回列表

最具人氣熱帖推薦 [查看全部]		作者	回/看	最后發(fā)表

[考研] 298-一志愿中國農業(yè)大學-求調劑 +9	手機用戶 2026-03-17	9/450	2026-03-20 14:24 by 無懈可擊111
[考研] 085700資源與環(huán)境308求調劑 +10	墨墨漠 2026-03-18	11/550	2026-03-20 11:57 by 學員8dgXkO
[考研] 一志愿南昌大學，327分，材料與化工085600 +5	Ncdx123456 2026-03-19	5/250	2026-03-20 11:15 by wangy0907
[考研] 329求調劑 +6	想上學吖吖 2026-03-19	6/300	2026-03-20 09:00 by 每天只擺一小會
[考研] 材料專碩英一數(shù)二306 +6	z1z2z3879 2026-03-18	6/300	2026-03-20 08:49 by xingguangj
[考研] 求調劑 +3	暗涌afhb 2026-03-16	3/150	2026-03-20 00:28 by 河南大學校友
[考研] 307求調劑 +9	冷笙123 2026-03-17	9/450	2026-03-19 22:44 by 學員8dgXkO
[考研] 0703化學調劑 +4	18889395102 2026-03-18	4/200	2026-03-19 16:13 by 30660438
[考研] 材料與化工求調劑 +7	為學666 2026-03-16	7/350	2026-03-19 14:48 by 盡舜堯1
[考研] 一志愿福大288有機化學，求調劑 +3	小木蟲200408204 2026-03-18	3/150	2026-03-19 13:31 by houyaoxu
[考研] 304求調劑 +6	司空. 2026-03-18	6/300	2026-03-18 23:03 by 星空星月
[考研] 【同濟軟件】軟件（085405）考研求調劑 +3	2026eternal 2026-03-18	3/150	2026-03-18 19:09 by 搏擊518
[考研] 297求調劑 +8	戲精丹丹丹 2026-03-17	8/400	2026-03-18 14:30 by laoshidan
[考研] 材料專碩306英一數(shù)二 +10	z1z2z3879 2026-03-16	13/650	2026-03-18 14:20 by 007_lilei
[考研] 334求調劑 +3	志存高遠意在機?/a> 2026-03-16	3/150	2026-03-18 08:34 by lm4875102
[考研] 293求調劑 +11	zjl的號 2026-03-16	16/800	2026-03-18 08:10 by zhukairuo
[考研] 277調劑 +5	自由煎餅果子 2026-03-16	6/300	2026-03-17 19:26 by 李leezz
[論文投稿] 有沒有大佬發(fā)小論文能帶我個二作 +3	增銳漏人 2026-03-17	4/200	2026-03-17 09:26 by xs74101122
[考研] 東南大學364求調劑 +5	JasonYuiui 2026-03-15	5/250	2026-03-16 21:28 by 木瓜膏
[考研] 070303 總分349求調劑 +3	LJY9966 2026-03-15	5/250	2026-03-16 14:24 by xwxstudy

24小時熱門版塊排行榜

[求助] 請教：用Shell, awk, perl等語言實現(xiàn)監(jiān)視SGE集群節(jié)點和任務

» 本帖附件資源列表

» 猜你喜歡

» 本主題相關價值貼推薦，對您同樣有幫助:

【答案】應助回帖

【答案】應助回帖

【答案】應助回帖

【答案】應助回帖

【答案】應助回帖

» 本主題相關價值貼推薦，對您同樣有幫助: