autoencoder - オートエンコーダーと変分オートエンコーダーを使用した画像生成

Question

新しい画像の生成に畳み込みオートエンコーダーを使用する場合、モデルはモデルを実行するたびに同じ画像を生成しますか? それとも、ランダムに変化する画像を生成しますか? オートエンコーダー (AE) は、モデルを実行するたびに同じ新しい画像を生成すると思います。これは、入力画像を潜在空間内の 1 点にマッピングするためです。一方、変分オートエンコーダ (VAE) は、入力画像を分布にマッピングします。したがって、ランダムに変動する画像が必要な場合は VAE を使用する必要があり、モデルを実行するたびに同じ生成画像が必要な場合は AE を使用します。これは本当ですか？私の質問は次のとおりです: AE はランダムに変化する画像を生成しますか?

Answer 1

オートエンコーダーは、最初に入力データを何らかの潜在表現にエンコードし、次にその表現 (ボトルネック層) を使用して同じ入力を再構築します。MNIST データでオートエンコーダーをトレーニングし、数字を 2 次元ベクトルにエンコードしました。ネットワークは、私がプロットしたデータの非常に有用な表現を学習しました。 MNIST数字の潜在表現

数字ごとに、潜在表現には値の範囲があることがわかります。たとえば、ゼロの潜在表現は、x 軸で -2 から 4、y 軸で 4 から 8 のほぼ範囲を持ちます。その範囲でランダムな 2 次元ランダム ベクトルをサンプリングし、それをデコーダで実行すると、ゼロのランダム イメージが得られます。問題は、これが非常に単純なケースであることです。潜在ベクトルが 64 次元以上であり、多くのカテゴリもそれ以上です。その場合、有効なベクトルをサンプリングするために、潜在ベクトルの分布をモデル化する必要があります。そうでなければ、どの潜在ベクトルが有効であるかを知ることはできません。したがって、オートエンコーダーはランダムなサンプルを提供する可能性がありますが、データの分布と、VAE でカバーするポイントを知る必要があります。