このビデオで紹介されているような、Tensorflow でハイパーパラメータ検索を実装したいと考えています。残念ながら、それに関するチュートリアルを見つけることができませんでした。
それを使用しているコードをいくつか見つけましたが、正しく理解できませんでした。ベイジアン最適化を実装するのが最善ですが、最初はグリッドまたはランダム検索を試してみたいと思います。
前に別のグラフを作成する必要がありますか? 複数のグラフでトレーニングを行う方法と、それらを比較する方法は?
このビデオで紹介されているような、Tensorflow でハイパーパラメータ検索を実装したいと考えています。残念ながら、それに関するチュートリアルを見つけることができませんでした。
それを使用しているコードをいくつか見つけましたが、正しく理解できませんでした。ベイジアン最適化を実装するのが最善ですが、最初はグリッドまたはランダム検索を試してみたいと思います。
前に別のグラフを作成する必要がありますか? 複数のグラフでトレーニングを行う方法と、それらを比較する方法は?
ビデオでは、結果を再作成できるコードがいくつか提供されています。
コードはモデルを実行し、コマンド を使用してテンソルボードによってプロットが生成されtensorboard --logdir <log location>
ます。この場合: tensorboard --logdir /tmp/mnist_tutorial
.
ビデオからの抜粋は次のとおりです。
# Try a few learning rates
for learning_rate in [1E-3, 1E-4, 1E-5]:
for use_two_fc in [True, False]
for use_two_conv in [True, False]:
# Construct a hyperparameter string for each one (example: "lr_1E,fc=2,conv=2)
hparam_str = make_hparam_string(learning_rate, use_two_fc, use_two_conv)
writer = tf.summaru/FileWriter("/tmp/mnist_tutorial/" + hparam_str)
# Actually run with the new settings
mnist(learning_rate, use_two_fully_connected_layers, _use_two_conv_layers, writer)
テンソルボードのセットアップ方法の詳細な説明については、 github リポジトリを確認してください。
機械学習によって最適なハイパーパラメータを選択するためのガイドを見つけようとしました。
TensorFlow 分類問題を選択し、全階乗ハイパーパラメーター グリッド検索によって精度を計算しました。次に、ロジスティック回帰と別の DNN 分類器を適合させて、どのハイパーパラメーターのセットが問題に適しているかを「学習」しようとしました。
結果は少し混乱しました...しかし、それはあなたの特定の問題でうまくいくかもしれません. 以下をご覧ください: https://medium.com/@tirthajyoti/when-machine-learning-tries-to-predict-the-performance-of-machine-learning-6cc6a11bb9bf