-2

ここでPythonで勾配降下を実装しようとしましたが、コストJはラムダ値とアルファ値に関係なく増加しているようです。ここでの問題が何であるかを理解できません。誰かがこれで私を助けることができれば、それは素晴らしいことです. 入力は同じ次元の行列 Y と R です。Y は映画 x ユーザーの行列であり、R はユーザーが映画を評価したかどうかを示すだけです。

#Recommender system ML
import numpy
import scipy.io

def gradientDescent(y,r):
        (nm,nu) = numpy.shape(y)          
        x =  numpy.mat(numpy.random.randn(nm,10))
        theta =  numpy.mat(numpy.random.randn(nu,10))
        for i in range(1,10):
                (x,theta) = costFunc(x,theta,y,r)


def costFunc(x,theta,y,r):

        X_tmp = numpy.power(x , 2)
        Theta_tmp = numpy.power(theta , 2)
        lmbda = 0.1
        reg = ((lmbda/2) * numpy.sum(Theta_tmp))+ ((lmbda/2)*numpy.sum(X_tmp))
        ans = numpy.multiply(numpy.power(((theta * x.T).T - y),2) , r)
        res = (0.5 * numpy.sum(ans))+reg
        print "J:",res
        print "reg:",reg
        (nm,nu) = numpy.shape(y)          
        X_grad = numpy.mat(numpy.zeros((nm,10)));
        Theta_grad = numpy.mat(numpy.zeros((nu,10)));
        alpha = 0.1
#       [m f] = size(X);
        (m,f) = numpy.shape(x);

        for i in range(0,m):                
                for k in range(0,f):
                        tmp = 0
#                       X_grad(i,k) += (((theta * x'(:,i)) - y(i,:)').*r(i,:)')' * theta(:,k);
                        tmp += ((numpy.multiply(((theta * x.T[:,i]) - y[i,:].T),r[i,:].T)).T) * theta[:,k];
                        tmp += (lmbda*x[i,k]);
                        X_grad[i,k] -= (alpha*tmp)

#                       X_grad(i,k) += (lambda*X(i,k));


#       [m f] = size(Theta); 
        (m,f) = numpy.shape(theta);


        for i in range(0,m):                
                for k in range(0,f):
                        tmp = 0
#                       Theta_grad(i,k) += (((theta(i,:) * x') - y(:,i)').*r(:,i)') * x(:,k);
                        tmp += (numpy.multiply(((theta[i,:] * x.T) - y[:,i].T),r[:,i].T)) * x[:,k];
                        tmp += (lmbda*theta[i,k]);
                        Theta_grad[i,k] -= (alpha*tmp)

#                        Theta_grad(i,k) += (lambda*Theta(i,k));

        return(X_grad,Theta_grad)

def main():
        mat1 = scipy.io.loadmat("C:\Users\ROHIT\Machine Learning\Coursera\mlclass-ex8\ex8_movies.mat")   
        Y = mat1['Y']
        R = mat1['R']   
        r = numpy.mat(R)
        y = numpy.mat(Y)   
        gradientDescent(y,r)

#if __init__ == '__main__':
main()
4

1 に答える 1

0

私はコード ロジック全体をチェックしませんでしたが、それが正しいと仮定するとcostfunc、コスト関数の勾配を返すことになっています。次の行で:

for i in range(1,10):
     (x,theta) = costFunc(x,theta,y,r)

x と theta の最後の値をその勾配で上書きしていますが、勾配は変化の尺度であるため、反対方向に移動する必要があります (値を上書きする代わりに勾配を減算します)。

for i in range(1,10):
     (x,theta) -= costFunc(x,theta,y,r)

ただし、マイナス記号をグラデーションに既に割り当てているcostfuncようですので、代わりにこの値を追加する必要があります

for i in range(1,10):
     (x,theta) += costFunc(x,theta,y,r)
于 2013-11-10T15:41:11.803 に答える