0

MATLAB を使用して、スタック スパース オートエンコーダーに取り組んでいます。Stacked Sparse Autoencoder パラメーターにどの値を使用する必要があるかを提案できますか
?

4

1 に答える 1

1

ハイパーパラメータには明白な値がないことを理解することが重要です。最適な値は、モデリングしているデータによって異なります。データで試してみる必要があります。

sparseAutoencoderからLambda (λ) は重み減衰項の係数であり、過適合の可能性があるため、重みが大きな値に到達するのを妨げます。重み減衰項 (または重み正則化項) は、以下で説明するスパース性項のようなコスト関数の一部です。

Rho (ρ) は、隠れ層の活性化の平均数を制御するスパース制約です。入力ユニットに対して比較的多数の隠れユニットでもオートエンコーダーを機能させるために含まれています。たとえば、入力サイズが 100 で、隠れサイズが 100 以上 (さらに小さいが 100 に近い) の場合、隠れユニットは恒等関数を学習できるため、出力を失うことなく構築できます。ベータ (β) は、コスト関数の一部であるスパース項の係数です。スパース項の相対的な重要性を制御します。Lambda と Beta は、コスト関数における項の相対的な重要性を指定します。

例: この例では、次のようにパラメータ値が選択されています。

sparsityParam = 0.1;   % desired average activation of the hidden units.
                       % (This was denoted by the Greek alphabet rho, which looks like a lower-case "p",
                       %  in the lecture notes). 
lambda = 3e-3;         % weight decay parameter       
beta = 3;              % weight of sparsity penalty term

しかし、もう一度言いたいのですが、ハイパーパラメータには明らかな値はありません。

于 2016-12-02T06:40:10.877 に答える