scipy.optimize.minimizepyspark データフレームの 2 つの列で関数を使用しようとしています。
x0パラメーターを配列として Pandas UDF 関数に渡すときに、次のエラーが発生します。
TypeError: Invalid argument, not a string or column: [0.9 0.5 2.5 5. 0.33] of type <class 'numpy.ndarray'>. For column literals, use 'lit', 'array', 'struct' or 'create_map' function.
これは私が最小化しようとしている機能です
def eb_func(theta, n, e):
"""
# Function to be Minimized
:param theta: float
:param n: Pandas.Series
:param e: Pandas.Series
:return: float
"""
print("Entering EB_Func")
res = res = np.prod(theta[4] * neg_bin(n, e, theta[0], theta[1]) + (1 - theta[4]) * neg_bin(n, e, theta[2], theta[3]))
return res
これは私の neg_bin 関数です:
@pandas_udf('double', PandasUDFType.SCALAR)
def neg_bin(n, e, alpha, beta):
"""
:param n:
:param e:
:param alpha:
:param beta:
:return:
"""
res_expo = gammaln(alpha + n) - gammaln(n + 1) - gammaln(alpha)
res = np.exp(res_expo)
res = res / (1 + beta / (e + 0.01)) ** n
res = res / (1 + e / beta) ** alpha
return res
これらは私のパラメータです：
x0 = np.array([0.9, 0.5, 2.5, 5, 0.33])
bounds = ([0.000001, 200], [0.000001, 200], [0.000001, 200], [0.000001, 200], [0.000001, 1])
scipy.optimize.minimizeこれは、関数を呼び出そうとしているところです。
# Define a function to call minimize function
def RunMinimize(data):
Result = minimize(eb_func, x0, args=(data.Adolescent_a, data.Adolescent_e), method='L-BFGS-B', bounds=bounds, options={'disp': True, 'maxiter': 1000, 'eps': np.repeat(1e-4, 5)})
return Result.x
RunMinimize(df_adol)
私はPySparkを初めて使用します.Pandasでこれを行うことができますが、今では巨大なデータセットがあり、Pandasはそれを処理するのに多くの時間を費やしています.
予想される出力形式は次のとおりです。これは、Pandas で出力として取得するものです。
[1.00000000e-06, 1.46304225e+00, 1.00000000e-06, 6.39066185e+00, 1.00000000e-06])
theta 値を neg_bin 関数に渡すのに問題があります。neg_bin 関数は pandas.Series のみを入力として想定しているためです。可能であれば、neg_bin 関数への入力として pandas.Series と共に theta 値をスカラーとして送信する回避策を探しています。
どんな助けでも大歓迎です。ティア。