0

minimize()の関数を利用する python スクリプトに取り組んでいますscipy.optimize。スクリプトは正常に動作しますが、比較的遅いため、(a) どこで時間が費やされているかを把握して (b) 速度を上げる方法を見つけようとしています。

私の現在の「遅い」ベンチマークには、各エンティティに最大 5000 個のサンプルが含まれるエンティティのデータセットがあります (つまり、エンティティごとにminimize()5000 回必要です。約 2000 個のエンティティがあります。現在の実行時間は、エンティティごとに 35 ～ 45 秒の間で変化するため、総実行時間は 80,000 秒 (または 22.2 時間) を見ています.これは 1 回限りであれば問題ありませんが、これは複数のモデルなどをテストする必要があるものです.したがって、実行時間を取得する必要があります下。

スクリプトの主要部分は次のとおりです。

###Initializing Export Arrays
Vmin1 = np.array([])
Vmin2 = np.array([])
Vmin3 = np.array([])
Vmin4 = np.array([])
Vmin5 = np.array([])
Vmin6 = np.array([])
Vclay = np.array([])
Vker = np.array([])


###Initial Estimate
x0 = np.array([0.5, 0.1, 0.1, 0.0, 0.01, 0.07, 0.2, 0.02,])
bounds = ((0,1), (0,1), (0,1), (0,1), (0,1), (0,1), (0,1), (0,1)) 

C =np.array([[rhob_Vmin1, rhob_Vmin2, rhob_Vmin3, rhob_Vmin4, rhob_Vmin5, rhob_Vmin6, rhob_Vclay, rhob_Vker],
              [nphi_Vmin1, nphi_Vmin2, nphi_Vmin3, nphi_Vmin4, nphi_Vmin5, nphi_Vmin6, nphi_Vclay, nphi_Vker],
              [pe_Vmin1, pe_Vmin2, pe_Vmin3, pe_Vmin4, pe_Vmin5, pe_Vmin6, pe_Vclay, pe_Vker],
              [dt_Vmin1, dt_Vmin2, dt_Vmin3, dt_Vmin4, dt_Vmin5, dt_Vmin6, dt_Vclay, dt_Vker],
              [0,0,0,0,0,0,1,0],
              [0,0,0,0,0,0,0,1],
              [1,1,1,1,1,1,1,1]])


def mineral_inversion(x, L, C):
    L_pred = np.matmul(C, x)
    if not np.isnan(L[0][0]):
        I1 = (np.subtract(L[0][0], L_pred[0])/unc_rhob)**2
    else:
        I1=0
    if not np.isnan(L[0][1]):
        I2 = (np.subtract(L[0][1], L_pred[1])/unc_nphi)**2
    else:
        I2 = 0
    if not np.isnan(L[0][2]):
        I3 = (np.subtract(L[0][2], L_pred[2])/unc_pe)**2
    else:
        I3 = 0
    if not np.isnan(L[0][3]):
        I4 = (np.subtract(L[0][3], L_pred[3])/unc_dt)**2
    else:
        I4 = 0
    if not np.isnan(L[0][4]):
        I5 = (np.subtract(L[0][4], L_pred[4])/unc_vwcl)**2
    else:
        I5 = 0
    if not np.isnan(L[0][5]):
        I6 = (np.subtract(L[0][5], L_pred[5])/unc_vker)**2    
    else:
        I6 = 0
    I7 = ((1-x.sum())/unc_unity)**2

    incoherence = I1+I2+I3+I4+I5+I6+I7
    return incoherence   

from datetime import datetime
t0 = datetime.now()
vpor_init = np.float(0.1)

for dd in range(len(depth)):

    ###Log values used in mineral inversion + unity value
    L = np.array([[rhob[dd], nphi[dd], pe[dd], dt[dd], vwcl[dd], vkero[dd], 1]])

    res = minimize(fun = mineral_inversion, x0 = x0, args = (L, C), bounds=bounds, method='SLSQP')
    Vmin1 = np.append(Vmin1, res.x[0])
    Vmin2 = np.append(Vmin2, res.x[1])
    Vmin3 = np.append(Vmin3, res.x[2])
    Vmin4 = np.append(Vmin4, res.x[3])
    Vmin5 = np.append(Vmin5, res.x[4])
    Vmin6 = np.append(Vmin6, res.x[5])    
    Vclay = np.append(Vclay, res.x[6])
    Vker = np.append(Vker,   res.x[7])

t1 = datetime.now()
time = t1-t0
print('Run Time: ', time)

for現在、ループ レベルで実行時間を記録しています。ただし、ボトルネックがどこにあるかについては、これではあまりわかりません。mineral_inversion()それは関数のレベルですか、minimize()関数自体の中にありますか、など。

質問: (1) 実行時間をスマートに記録して、これを高速化できるかどうかを判断するにはどうすればよいですか? （2）これが実際に「遅い」か、それとも私が単に不合理であり、反復するサンプルがたくさんある場合、どのように述べるのが公正な方法でしょうか? (3) 私が投げ込んだ明らかな悪い慣行/スピード トラップはありますか?

4

1 に答える 1