python - ロジスティック回帰にfmin_bfgsを使用するpythonscipy

Question

私は仮説として以下の式を使用します。

そして、コスト関数としての以下の式：

したがって、最小化しようとするオブジェクト関数は次のとおりです。

そして勾配は次のとおりです。

csvファイルの形式は次のとおりです。y0、x1、x2、x3、... y1、x1、x2、x3、... y2、x1、x2、x3、... yは1または0（分類用）トレーニングコードは以下のとおりです。

import numpy as np
import scipy as sp
from scipy.optimize import fmin_bfgs
import pylab as pl



data = np.genfromtxt('../data/small_train.txt', delimiter=',')
y = data[:,0]
#add 1 as the first column of x, the constant term
x = np.append(np.ones((len(y), 1)), data[:,1:], axis = 1)

#sigmoid hypothesis
def h(theta, x):
    return 1.0/(1+np.exp(-np.dot(theta, x)))

#cost function
def cost(theta, x, y):
    tot = 0
    for i in range(len(y)):
        tot += y[i]*np.log(h(theta, x[i])) + (1-y[i])*(1-np.log(h(theta, x[i])))
    return -tot / len(y)

#gradient

def deviation(theta, x, y):
    def f(theta, x, y, j):
        tot = 0.0
        for i in range(len(y)):
            tot += (h(theta, x[i]) - y[i]) * x[i][j]
        return tot / len(y)
    ret = []
    for j in range(len(x[0])):
        ret.append(f(theta, x, y, j))
    return np.array(ret)
    

init_theta = np.zeros(len(x[0]))
ret = fmin_bfgs(cost, init_theta, fprime = deviation, args=(x,y))
print ret

小さなデータセットでコードを実行しましたが、実装が正しくないようです。誰か助けてもらえますか？もう1つの質問：ご存知のように、fmin_bfgsは必ずしもfprime用語を必要としませんが、提供する場合と提供しない場合の違いは何ですか？