問題タブ [google-cloud-ml]

新しい CLOUDML ツールを使用して、Google からのこのブログ投稿をフォローしようとしています。

https://cloud.google.com/blog/big-data/2016/12/how-to-train-and-classify-images-using-google-cloud-machine-learning-and-cloud-dataflow

提供された docker インスタンス内から実行する

から始まる： root@9e93221352d8:~/google-cloud-ml/samples/flowers#

最初の前処理ステップを実行するには:

適切な値を割り当てます。

評価セットを前処理します。

戻り値

コンソールに向かうと、ログは次のように表示されます。

で認証を再試行しました

ブラウザからキーを取得します。そこには何も問題はないようです。

MNIST クラウド学習チュートリアルを正常に実行したので、Google コンピューティング エンジンとの通信に認証の問題はありません。

バケットへのパスが正しいことを確認できます。

しかし、フォルダー flowers__20170106_165608 は作成されません (アクセス許可のため)。

Dataflow には個別の認証情報が必要ですか? コンソールにアクセスして、自分のアカウントがデータフロー API に対して開かれていることを確認しました。それ以上のもの

編集：コンソールのサービスアカウントタブを表示します。

編集：以下の受け入れられた回答。Jeremy Lewi が正しいので、この回答を受け入れます。問題は、データフローに権限があることではなく、GCS オブジェクトが作成されていないことが原因です。あなたが見ることができる前処理ロガーに入る

Google が示したチュートリアルは、おそらく無料利用枠に対して適切に構成されていません。配布するインスタンスが多すぎて、CPU クォータを超えていると思います。解決できない場合は、正しく構成された質問を開きます。

Google クラウド ml で開始を再トレーニングするための花のチュートリアルに従っています。チュートリアルを実行し、トレーニングし、予測することができます。

次に、花のデータセットを独自のテスト データセットに置き換えました。画像数字の光学式文字認識。

私の完全なコードはこちら

ラベル用辞書ファイル

評価セット

トレーニングセット

Google が提供する最近の docker ビルドから実行しています。

ファイルを前処理し、次を使用してトレーニング ジョブを送信できます。

しかし、グローバル ステップ 0 を超えることはありません。花のチュートリアルは、無料利用枠で約 1 時間でトレーニングされました。私はトレーニングを11時間も行っています。動かない。

スタックドライバーを見ても何も進んでいません。

また、20 個のトレーニング画像と 10 個の評価画像の小さなおもちゃのデータセットも試しました。同じ問題。

GCS バケットは最終的に次のようになります

当然のことかもしれませんが、このログをテンソルボードで視覚化することはできず、何も表示されません。

完全なトレーニング ログ:

殺すまで最後の行を繰り返すだけです。

このサービスに対する私のメンタル モデルは間違っていますか? すべての提案を歓迎します。

起動したいモデルには、特定の値で初期化する必要がある変数がいくつかあります。

現在、これらの変数を numpy 配列に保存していますが、コードを適応させて google-cloud-ml ジョブで動作させる方法がわかりません。

現在、変数を次のように初期化しています。

誰かが私を助けることができますか？

Cloud Shell で Google Cloud プロジェクトをセットアップし、このチュートリアル スクリプトを実行しようとしましたhttps://github.com/GoogleCloudPlatform/cloudml-samples/blob/master/flowers/sample.sh

このエラーが発生しました：

GoogleCloud Dataflow のエラー ログから、どこが間違っているかの手がかりを得ることができませんでした

トラブルシューティングの回答とヘルプに感謝します。

私は cloudml-samples で花のチュートリアル コードを使用して、一連のレストランの写真にマルチラベル分類を実装しようとしています。

それに応じて dict.txt と入力を更新しました。サンプル行は次のとおりです。

dict.txt

eval_set.csv

前処理ジョブが正常に実行を開始した後、ジョブが失敗するまで、この特定のエラーが発生し続けることがわかります。

ジョブ ログ - KeyError: u"FALSE [「ラベル ID の抽出」を実行中]"

ジョブ ログ - ワークフローの失敗

最近、CATEGORICAL パラメーターのハイパー パラメーター チューニングを使用してトレーニング ジョブを送信すると、Cloud MLcategoricalValuesは、ドキュメントに記載されているパラメーターからの選択ではなく、整数値のオプションを渡します [ https://cloud.google.com/ml/reference/rest/v1beta1/ projects.jobs#parameterspec] .

2017 年 1 月 12 日 (JST) より前に、Cloud ML は から選択された値でオプションを渡しましたcategoricalValues。私のプロジェクトでは、現在の動作は 2017 年 1 月 13 日頃に始まるようです。

Cloud ML Hyper Parameter Tuning の回帰ですか、それとも機能の変更ですか? ドキュメントが現在の動作と一致しないとは断言できません (あいまいだと思います)。とにかく、動作は明らかに変更されており、それが恒久的な機能変更である場合は対処する必要があります。

ありがとう、