0

私は PyTorch のドキュメントを読んでいて、MSELoss と autograd を理解しようとしています。tensor12 つのランダム テンソルを取り、各テンソルの値を更新する非常に単純なトレーニング ループを作成してみましたtensor2。私の例では 100 を使用しました。これをどのように実装したかを次に示します。

import torch.nn as nn
import torch
import torch.optim as optim

loss = nn.MSELoss()
tensor1 = torch.randn(3, 5, requires_grad=True)
tensor2 = torch.randn(3, 5, requires_grad=True)
target_sum = torch.FloatTensor(torch.Tensor([100]))
optimizer = optim.SGD([nn.Parameter(tensor1), nn.Parameter(tensor2)], lr=1e-4)
print(str(tensor1.sum().item()) + str(tensor2.sum().item()))
for i in range(100):
    pred = tensor1.sum() + tensor2.sum()
    optimizer.zero_grad()
    loss(pred, target_sum).backward
    optimizer.step()
print(str(tensor1.sum().item()) + str(tensor2.sum().item()))

トレーニング ループの前とトレーニング ループ後のテンソルの合計は同じですが、合計が増加し、100 に近づくはずです。ここで何が欠けているのかわかりません。トレーニング ループはドキュメンテーションの例からほぼそのままなので、オプティマイザーに関係があるのではないかと思います。私は PyTorch が初めてで、助けていただければ幸いです!

4

1 に答える 1

0

abs(pred - target_sum) を使用して計算するlossため、predおよびtarget_sumはスカラーです。nn.Parameter()また、最適定義でラッパーを削除します。これが私がしたことです。

In [22]: import torch.nn as nn 
    ...: import torch 
    ...: import torch.optim as optim 
    ...:  
    ...: tensor1 = torch.randn(3, 5, requires_grad=True) 
    ...: tensor2 = torch.randn(3, 5, requires_grad=True) 
    ...: target_sum = 100 
    ...: optimizer = optim.SGD([tensor1, tensor2], lr=1e-2) 
    ...: print(tensor1.sum().item() + tensor2.sum().item()) 
    ...: for i in range(1000): 
    ...:     pred = tensor1.sum() + tensor2.sum() 
    ...:     optimizer.zero_grad() 
    ...:     loss = abs((pred-target_sum)) 
    ...:     loss.backward() 
    ...:     optimizer.step() 
    ...: print(tensor1.sum().item()+ tensor2.sum().item())

ループ前後の結果は以下の通り

-0.777163028717041
100.02290725708008
于 2019-11-07T04:39:24.903 に答える