版塊導(dǎo)航: 正在加載中...

應(yīng)《網(wǎng)絡(luò)安全法》要求，自2017年10月1日起，未進(jìn)行實(shí)名認(rèn)證將不得使用互聯(lián)網(wǎng)跟帖服務(wù)。為保障您的帳號(hào)能夠正常使用，請(qǐng)盡快對(duì)帳號(hào)進(jìn)行手機(jī)號(hào)驗(yàn)證，感謝您的理解與支持！

24小時(shí)熱門(mén)版塊排行榜

返回列表

yjcmwgk

禁蟲(chóng) (文壇精英)

密度泛函·小卒

QC強(qiáng)帖: 38
應(yīng)助: 165 (高中生)
貴賓: 16.999
金幣: 554.6
散金: 39880
紅花: 395
沙發(fā): 2
帖子: 10406
在線: 1528.1小時(shí)
蟲(chóng)號(hào): 448368
注冊(cè): 2007-11-01
專(zhuān)業(yè): 理論和計(jì)算化學(xué)
管轄: 科研工具資源

[求助] 用Python讀Gaussian的cube文件，速度很慢，怎么破？謝謝�。。� 已有4人參與

向各位python大俠求教一個(gè)問(wèn)題，謝謝各位！
我正在用python讀一個(gè)由Gaussian生成的cube文件。但是讀文件讀得非常慢，讀一個(gè)6M多的cube文件，居然用了3分鐘！

具體問(wèn)題如下：
用cubefile來(lái)打開(kāi)某個(gè)cube文件。然后繼續(xù)

CODE:

    tmpcubedata = [] !先設(shè)一個(gè)空列表，待會(huì)兒用來(lái)存儲(chǔ)數(shù)據(jù)

    tmpcubedata = tmpcubedata + tmpline.split() !tmpline是用來(lái)存儲(chǔ)某一行的數(shù)據(jù)的。由于先前已經(jīng)經(jīng)過(guò)了多次tmpline.split()之后，實(shí)際上現(xiàn)在的tmpline存儲(chǔ)的就是我已經(jīng)想要的那些數(shù)據(jù)的第一行了。所以，先讀一下并存入tmpcubedata中。

    i = 1 !這是個(gè)計(jì)數(shù)器。每讀一行數(shù)據(jù)就加1

    tmplines=cubefile.readlines() !把剩下的行全讀進(jìn)來(lái)

    for i in range(1,linecount): !linecount就是應(yīng)該讀入的cube文件中數(shù)據(jù)部分的總行數(shù)，一般來(lái)說(shuō)，Gaussian生成的cube文件中，如果生成過(guò)程全默認(rèn)，那么cube文件的數(shù)據(jù)部分應(yīng)該是8-9萬(wàn)行的樣子。大部分行，每行有6個(gè)數(shù)字（大概95%的行是這樣的），但也不排除只有1-5個(gè)數(shù)字的情況（大概5%的行是這樣的）。

        tmpline = tmplines[i-1] !從tmplines中獲得某一行

        if tmpline == 'EOF' : break

        if tmpline == [] : break

        if tmpline == None : break

        if i == linecount: break !如果計(jì)數(shù)器i達(dá)到了總行數(shù)，就不讀了

        if i%10000 == 0: print "Converting", cubefilename, "......  ", int(100.0*float(i)/float(linecount)), "%" !每讀一萬(wàn)行數(shù)據(jù)，就顯示一個(gè)進(jìn)度百分比

        if i == linecount-1 : print "Converting", cubefilename, "...... ", "100 %" !讀到最后一行數(shù)據(jù)的時(shí)候，就顯示一個(gè)百分之百

        i = i+1

        tmpcubedata = tmpcubedata + tmpline.split() !將讀進(jìn)來(lái)的數(shù)據(jù)存入tmpcubedata中

我懷疑tmpline = tmplines[i-1]這句話(huà)拖累的速度？應(yīng)該如何修改？非常感謝高手幫助！！
感謝！！

回復(fù)此樓

1樓 2014-10-04 11:04:20

已閱回復(fù)此樓關(guān)注TA 給TA發(fā)消息送TA紅花 TA的回帖

yjcmwgk

禁蟲(chóng) (文壇精英)

密度泛函·小卒

QC強(qiáng)帖: 38
應(yīng)助: 165 (高中生)
貴賓: 16.999
金幣: 554.6
散金: 39880
紅花: 395
沙發(fā): 2
帖子: 10406
在線: 1528.1小時(shí)
蟲(chóng)號(hào): 448368
注冊(cè): 2007-11-01
專(zhuān)業(yè): 理論和計(jì)算化學(xué)
管轄: 科研工具資源

cube文件的基本結(jié)構(gòu)舉例如下

CODE:

 Title Card Required mo=1

 MO coefficients

   -1   -2.916225   -2.916225   -2.916225

   80    0.073828    0.000000    0.000000

   80    0.000000    0.073828    0.000000

   80    0.000000    0.000000    0.073828

    2    2.000000    0.000000    0.000000    0.000000

    1    1

  7.36784E-05  8.36290E-05  9.46155E-05  1.06698E-04  1.19934E-04  1.34374E-04

  1.50064E-04  1.67044E-04  1.85341E-04  2.04976E-04  2.25955E-04  2.48274E-04

  2.71913E-04  2.96838E-04  3.22995E-04  3.50318E-04  3.78721E-04  4.08098E-04

  4.38328E-04  4.69271E-04  5.00768E-04  5.32647E-04  5.64718E-04  5.96779E-04

  6.28614E-04  6.60000E-04  6.90707E-04  7.20497E-04  7.49136E-04  7.76386E-04

  8.02019E-04  8.25811E-04  8.47551E-04  8.67043E-04  8.84107E-04  8.98583E-04

  9.10334E-04  9.19248E-04  9.25239E-04  9.28250E-04  9.28250E-04  9.25239E-04

  9.19248E-04  9.10334E-04  8.98583E-04  8.84107E-04  8.67043E-04  8.47551E-04

  8.25811E-04  8.02019E-04  7.76386E-04  7.49136E-04  7.20497E-04  6.90707E-04

  6.60000E-04  6.28614E-04  5.96779E-04  5.64718E-04  5.32647E-04  5.00768E-04

  4.69271E-04  4.38328E-04  4.08098E-04  3.78721E-04  3.50318E-04  3.22995E-04

  2.96838E-04  2.71913E-04  2.48274E-04  2.25955E-04  2.04976E-04  1.85341E-04

  1.67044E-04  1.50064E-04  1.34374E-04  1.19934E-04  1.06698E-04  9.46155E-05

  8.36290E-05  7.36784E-05

  8.36290E-05  9.49233E-05  1.07394E-04  1.21108E-04  1.36131E-04  1.52521E-04

  1.70331E-04  1.89603E-04  2.10372E-04  2.32658E-04  2.56471E-04  2.81805E-04

  3.08636E-04  3.36926E-04  3.66617E-04  3.97630E-04  4.29868E-04  4.63213E-04

下面還有八萬(wàn)多行，略了

對(duì)于這個(gè)cube文件來(lái)說(shuō)，從第9行開(kāi)始是第一個(gè)數(shù)據(jù)行，直到文件結(jié)束。值得注意的是，絕大多數(shù)數(shù)據(jù)行，每行有6個(gè)數(shù)字，但第22行就只有2個(gè)數(shù)字了。

贊一下

回復(fù)此樓

2樓2014-10-04 11:08:58

已閱回復(fù)此樓關(guān)注TA 給TA發(fā)消息送TA紅花 TA的回帖

frk2008

木蟲(chóng) (正式寫(xiě)手)

應(yīng)助: 7 (幼兒園)
金幣: 3434.4
紅花: 1
帖子: 489
在線: 440.9小時(shí)
蟲(chóng)號(hào): 841330
注冊(cè): 2009-09-05
專(zhuān)業(yè): 電化學(xué)

【答案】應(yīng)助回帖

★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★
感謝參與，應(yīng)助指數(shù) +1
yjcmwgk: 金幣+20, ★有幫助, 非常感謝，我后來(lái)用tmpp = ((' '.join(cubefile.readlines())).replace("/n"," ")).split()解決了 2014-10-05 16:10:10
gmy1990: 金幣+3 2014-10-05 18:49:03

試試這個(gè)，看看效果如何：

[ code]

tmplines = cubefile.readlines()
tempstr = "".join(tmplines)          #把list轉(zhuǎn)化為str，形式應(yīng)該是'num  num  ...num\nnum  ...'
tempstr = tempstr.replace('\n','  ') #把str中的'\n'替換為'  '
tmpcubedata = tempstr.split('  ')    #把str轉(zhuǎn)為list
n=0
numcount=len(tmpcubedata)             #list的數(shù)據(jù)總數(shù)
for i in tmpcubedata:
n+=1
if i%60000==0:
      print "Converting", cubefilename, "......  ", int(100.0*float(i)/float(numcount)), "%"
#if i=="":
      #tmpcubedata.remove(i)       #如果cubefile 文件中中間有空行，則需要這個(gè)功能
if tmpcubedata[-1]=="":
del tmpcubedata[-1]                #如果cubefile 文件以‘num\n‘結(jié)尾
print "Converting", cubefilename, "...... ", "100 %"

[ /code]

贊一下

回復(fù)此樓

3樓2014-10-04 15:23:36

已閱回復(fù)此樓關(guān)注TA 給TA發(fā)消息送TA紅花 TA的回帖

rh1127

捐助貴賓 (著名寫(xiě)手)

一名工程師@上海

應(yīng)助: 2 (幼兒園)
金幣: 21406.7
紅花: 5
帖子: 1616
在線: 139.5小時(shí)
蟲(chóng)號(hào): 116848
注冊(cè): 2005-11-25
性別: GG
專(zhuān)業(yè): 膠體與界面化學(xué)

【答案】應(yīng)助回帖

★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★
感謝參與，應(yīng)助指數(shù) +1
yjcmwgk: 金幣+20, ★有幫助, 非常感謝，我后來(lái)用tmpp = ((' '.join(cubefile.readlines())).replace("/n"," ")).split()解決了 2014-10-05 16:10:21
gmy1990: 金幣+2 2014-10-05 18:49:14

用numpy和pandas模塊兒來(lái)處理大型數(shù)組，比只用for循環(huán)速度快幾十倍不止。python自帶的循環(huán)未經(jīng)優(yōu)化，很忌諱來(lái)處理大型數(shù)組！
希望對(duì)你有幫助。

贊一下

回復(fù)此樓

Actionnoworachievenever!

4樓2014-10-05 09:21:10

已閱回復(fù)此樓關(guān)注TA 給TA發(fā)消息送TA紅花 TA的回帖

magicmonk

至尊木蟲(chóng) (著名寫(xiě)手)

應(yīng)助: 172 (高中生)
金幣: 11451.3
紅花: 24
帖子: 1124
在線: 3108.8小時(shí)
蟲(chóng)號(hào): 1191315
注冊(cè): 2011-01-17
專(zhuān)業(yè): 理論和計(jì)算化學(xué)

【答案】應(yīng)助回帖

感謝參與，應(yīng)助指數(shù) +1

個(gè)人呢建議用fortran或MATLAB

贊一下

回復(fù)此樓

我們最深的恐懼不是我們能力不夠，我們最深的恐懼是能力超越了極限。

5樓2014-10-05 09:50:45

已閱回復(fù)此樓關(guān)注TA 給TA發(fā)消息送TA紅花 TA的回帖

rh1127

捐助貴賓 (著名寫(xiě)手)

一名工程師@上海

應(yīng)助: 2 (幼兒園)
金幣: 21406.7
紅花: 5
帖子: 1616
在線: 139.5小時(shí)
蟲(chóng)號(hào): 116848
注冊(cè): 2005-11-25
性別: GG
專(zhuān)業(yè): 膠體與界面化學(xué)

【答案】應(yīng)助回帖

樓主，我親自給你code的標(biāo)準(zhǔn)答案：
——————————————————————
import numpy as np
import string

def readCube2Array(cubeFile):
f=open(cubeFile,'r')
lines=f.readlines()

i=-1
for l in lines:
      i=i+1
      if string.find(l,'E-')>0:
         break
print i #找到第一行你需要存的數(shù)據(jù)

s=(''.join(lines[i:])).replace("  "," "

#將所有雙空格換成一個(gè)空格
s=s.replace("\n"," "

#把所有換行符換成單個(gè)空格
dataArray=np.fromstring(s,dtype=double, sep=' ') #調(diào)用numpy把字符串轉(zhuǎn)成double類(lèi)型的數(shù)組
return dataArray #返回你要的數(shù)組

filename='test677-ref.cube' #這是我的測(cè)試文件，是一個(gè)高斯09自帶的cube文件，有九萬(wàn)多行數(shù)據(jù)
dArray=readCube2Array(filename) #這就是你想要的結(jié)果，根本不用看進(jìn)度，瞬間完成

——————————這個(gè)程序的執(zhí)行時(shí)間我也看了————————————————

%timeit dArray=readCube2Array(filename)

30
30
30
30
1 loops, best of 3: 380 ms per loop
大概是380ms就能執(zhí)行完一個(gè)cube文件的導(dǎo)出，我覺(jué)得絕對(duì)比你的程序塊不止幾十倍。

趕緊給分了，有問(wèn)題給我留言！

贊一下(1人)

回復(fù)此樓

Actionnoworachievenever!

6樓2014-10-05 14:43:33

已閱回復(fù)此樓關(guān)注TA 給TA發(fā)消息送TA紅花 TA的回帖

rh1127

捐助貴賓 (著名寫(xiě)手)

一名工程師@上海

應(yīng)助: 2 (幼兒園)
金幣: 21406.7
紅花: 5
帖子: 1616
在線: 139.5小時(shí)
蟲(chóng)號(hào): 116848
注冊(cè): 2005-11-25
性別: GG
專(zhuān)業(yè): 膠體與界面化學(xué)

【答案】應(yīng)助回帖

import numpy as np
import string

def readCube2Array(cubeFile):
f=open(cubeFile,'r')
lines=f.readlines()

i=-1
for l in lines:
      i=i+1
      if string.find(l,'E-')>0:
         break
print i

s=(''.join(lines[i:])).replace("  "," " )
s=s.replace("\n"," " )
dataArray=np.fromstring(s,dtype=double, sep=' ')
return dataArray

filename='test677-ref.cube'
dArray=readCube2Array(filename)

贊一下(1人)

回復(fù)此樓

Actionnoworachievenever!

7樓2014-10-05 14:47:08

已閱回復(fù)此樓關(guān)注TA 給TA發(fā)消息送TA紅花 TA的回帖

rh1127

捐助貴賓 (著名寫(xiě)手)

一名工程師@上海

應(yīng)助: 2 (幼兒園)
金幣: 21406.7
紅花: 5
帖子: 1616
在線: 139.5小時(shí)
蟲(chóng)號(hào): 116848
注冊(cè): 2005-11-25
性別: GG
專(zhuān)業(yè): 膠體與界面化學(xué)

【答案】應(yīng)助回帖

★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★
yjcmwgk: 金幣+50, ★★★★★最佳答案, 非常感謝，我后來(lái)自己用tmpp = ((' '.join(cubefile.readlines())).replace("/n"," ")).split()解決了 2014-10-05 16:10:46

第一個(gè)論壇自動(dòng)轉(zhuǎn)成表情了，你用第二個(gè)吧，都能運(yùn)行。趕緊給分哦：）

贊一下

回復(fù)此樓

Actionnoworachievenever!

8樓2014-10-05 14:47:46

已閱回復(fù)此樓關(guān)注TA 給TA發(fā)消息送TA紅花 TA的回帖

兩粒一起吃

金蟲(chóng) (初入文壇)

應(yīng)助: 4 (幼兒園)
金幣: 788.9
散金: 1042
紅花: 2
帖子: 28
在線: 85.5小時(shí)
蟲(chóng)號(hào): 2227721
注冊(cè): 2013-01-07
性別: GG
專(zhuān)業(yè): 計(jì)算機(jī)網(wǎng)絡(luò)

【答案】應(yīng)助回帖

★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★
感謝參與，應(yīng)助指數(shù) +1
yjcmwgk: 金幣+10, ★有幫助, 非常感謝，我后來(lái)用tmpp = ((' '.join(cubefile.readlines())).replace("/n"," ")).split()解決了 2014-10-05 16:10:53
gmy1990: 金幣+3 2014-10-05 18:50:03

你的代碼不pythonic，不易讀也很低效，
這里給個(gè)例子，不知道是不是你要的功能

def readcube(cubefile):
cubedata = []
with open(cubefile) as f:
      lines = f.readlines()  #  if cubefile is large, read it in streaming or blocks
      # handle headers here
      for line in lines[2:]:
         for item in line.split():
            cubedata.append(eval(item))
return cubedata

if __name__ == '__main__':
testfile = 'test.cube'
data = readcube(testfile)
print(len(data))
print(data[:10])
print(data[-10:])

贊一下

回復(fù)此樓

9樓2014-10-05 15:29:16

已閱回復(fù)此樓關(guān)注TA 給TA發(fā)消息送TA紅花 TA的回帖

rh1127

捐助貴賓 (著名寫(xiě)手)

一名工程師@上海

應(yīng)助: 2 (幼兒園)
金幣: 21406.7
紅花: 5
帖子: 1616
在線: 139.5小時(shí)
蟲(chóng)號(hào): 116848
注冊(cè): 2005-11-25
性別: GG
專(zhuān)業(yè): 膠體與界面化學(xué)

引用回帖:

5樓: Originally posted by magicmonk at 2014-10-05 09:50:45
個(gè)人呢建議用fortran或MATLAB

fortran和Matlab都太龐大臃腫和不優(yōu)雅了，python最直接簡(jiǎn)潔，是未來(lái)之星。

贊一下

回復(fù)此樓

Actionnoworachievenever!

10樓2014-10-05 19:31:58

已閱回復(fù)此樓關(guān)注TA 給TA發(fā)消息送TA紅花 TA的回帖

相關(guān)版塊跳轉(zhuǎn) 我要訂閱樓主 yjcmwgk 的主題更新

返回列表

普通表情龍兔虎貓

最具人氣熱帖推薦 [查看全部]		作者	回/看	最后發(fā)表

[考研] 321求調(diào)劑 +7	何潤(rùn)采123 2026-03-18	7/350	2026-03-19 13:02 by Emiya_666
[考研] 材料考研調(diào)劑 +3	xwt。 2026-03-19	3/150	2026-03-19 11:22 by w沐陽(yáng)w
[考研] 267一志愿南京工業(yè)大學(xué)0817化工求調(diào)劑 +10	SUICHILD 2026-03-12	10/500	2026-03-19 09:51 by Delta2012
[考研] 求材料調(diào)劑 +10	隔壁陳先生 2026-03-12	10/500	2026-03-19 09:15 by 無(wú)際的草原
[考研] 085700資源與環(huán)境308求調(diào)劑 +3	墨墨漠 2026-03-18	3/150	2026-03-18 22:35 by bingxueer79
[考研] 一志愿武理材料305分求調(diào)劑 +5	想上岸的鯉魚(yú) 2026-03-18	6/300	2026-03-18 17:53 by 無(wú)際的草原
[考研] 26調(diào)劑/材料/英一數(shù)二/總分289/已過(guò)A區(qū)線 +7	步川酷紫123 2026-03-13	7/350	2026-03-18 17:12 by 盡舜堯1
[考研] 286求調(diào)劑 +6	lemonzzn 2026-03-16	9/450	2026-03-18 15:31 by vgtyfty
[考研] 化學(xué)工程321分求調(diào)劑 +15	大米飯！ 2026-03-15	18/900	2026-03-18 14:52 by haxia
[考研] 0854可跨調(diào)劑，一作一項(xiàng)核心論文五項(xiàng)專(zhuān)利，省、國(guó)級(jí)證書(shū)40+數(shù)一英一287 +8	小李0854 2026-03-16	8/400	2026-03-18 14:35 by 搏擊518
[考研] 304求調(diào)劑 +12	小熊joy 2026-03-14	13/650	2026-03-18 12:34 by Linda Hu
[考研] 334求調(diào)劑 +3	志存高遠(yuǎn)意在機(jī)?/a> 2026-03-16	3/150	2026-03-18 08:34 by lm4875102
[考研] 332求調(diào)劑 +6	Zz版 2026-03-13	6/300	2026-03-17 17:03 by ruiyingmiao
[考研] 11408 一志愿西電，277分求調(diào)劑 +3	zhouzhen654 2026-03-16	3/150	2026-03-17 07:03 by laoshidan
[考研] 中科院材料273求調(diào)劑 +4	yzydy 2026-03-15	4/200	2026-03-16 15:59 by Gaodh_82
[考研] 求老師收留調(diào)劑 +4	jiang姜66 2026-03-14	5/250	2026-03-15 20:11 by Winj1e
[考博] 東華理工大學(xué)化材專(zhuān)業(yè)26屆碩士博士申請(qǐng) +6	zlingli 2026-03-13	6/300	2026-03-15 20:00 by ryzcf
[考研] 中科大材料與化工319求調(diào)劑 +3	孟鑫材料 2026-03-14	3/150	2026-03-14 20:10 by ms629
[考研] 復(fù)試調(diào)劑 +3	呼呼？~+123456 2026-03-14	3/150	2026-03-14 16:53 by WTUChen
[考研] 工科材料085601 279求調(diào)劑 +8	困于星晨 2026-03-12	10/500	2026-03-13 15:42 by ms629