問題タブ [google-cloud-ml]

Google は最近 Cloud ML ( https://cloud.google.com/ml/ )を発表しましたが、これは非常に便利です。ただし、1 つの制限は、Tensorflow プログラムの入出力が gs:// をサポートする必要があることです。

すべての tensorflow API を使用してファイルを読み書きする場合、これらの API は をサポートしているため、問題ありませんgs://。

ただし、 などのネイティブ ファイル IO API を使用するとopen、理解できないため機能しません。gs://

例えば：

このコードは Google Cloud ML では機能しません。

ただし、すべてのネイティブ ファイル IO API を tensorflow API または Google Storage Python API に変更するのは非常に面倒です。これを行う簡単な方法はありますか？gs://ネイティブ ファイル IO に加えて、Google ストレージ システムをサポートするラッパーはありますか?

ここで提案されているように、入力データとして scipy sparse matrix を漬けましたか? 、おそらく を使用できますfile_io.read_file_to_string('gs://...')が、それでも大幅なコード変更が必要です。

export.metaファイルが 553.17 MBの tensorflow セッションを作成しました。エクスポートされたグラフを Google ML に読み込もうとすると、次のエラーでクラッシュします。

gcloud beta ml models versions create --origin=${TRAIN_PATH}/model/ --model=${MODEL_NAME} v1

エラー: (gcloud.beta.ml.models.versions.create) エラー応答: [3] バージョンの作成に失敗しました。モデルの場所 gs://experimentation-1323-ml/face/model/ へのアクセス中にエラーが発生しました。サービス アカウント cloud-ml-service@experimentation-1323-10cd8.iam.gserviceaccount.com にバケットとオブジェクトへの読み取りアクセス権があることを確認してください。

グラフは VGG16 顔認識の静的バージョンであるexportため、ダミー変数を除いて空ですが、すべての「重み」は の定数ですexport.meta。それは物事に影響を与える可能性がありますか？これをデバッグするにはどうすればよいですか?

Google Cloud ML (機械学習) で、ジョブを送信しましたが、コードの Python エラーで失敗しました。

エラーを修正した後、どうすればジョブを再実行できますか? 新しいジョブを送信する必要がありますか?

完了したら、ジョブを削除するにはどうすればよいですか?

オンライン ドキュメントは完全ではありません。

ありがとう

クラウド ML ハウツー ガイド ( https://cloud.google.com/ml/docs/how-tos/preprocessing-data ) の前処理ページには、各タイプの詳細について SDK リファレンス ドキュメントを参照する必要があると記載されています。機能と

このドキュメントまたは機能タイプとそのメソッドのリストを教えてくれる人はいますか? 個別のターゲットをセットアップしようとしていますが、ターゲットを .continuous() ではなく .discrete() に設定すると、「data type int64 expected type: float」エラーが発生し続けます

コンピューターのクラスターでモデルをトレーニングするために、google cloud ml 分散サンプルを使用しています。入力と出力 (rfrecords、checkpoints、tfevents) はすべて gs:// (Google ストレージ) にあります。

配布されたサンプルと同様に、最後に呼び出される評価ステップを使用し、Cloud ML 内で、または独自のツール スタックを使用してパラメーターのハイパーチューニングを使用するために、結果が要約として書き込まれます。

しかし、大量のデータに対して単一の評価を実行するのではなく、単一の値に限定したくないため、パフォーマンス基準に関する統計を取得するために、いくつかの評価ステップを実行しています。パフォーマンス間隔に関する情報を取得したい。特に、パフォーマンスの分散は私にとって重要です。平均パフォーマンスは低いが、最悪のケースがより良いモデルを選択したいと思います。

したがって、いくつかの評価ステップを実行します。私がやりたいことは、これらの評価ステップを並列化することです。現在、マスターのみが評価しているためです。大規模なクラスターを使用する場合、非効率の原因となり、タスク ワーカーも評価する必要があります。

基本的に、スーパーバイザーは次のように作成されます。

トレーニングの最後に、要約ライターを呼び出します。:

ワーカーからも要約を書き込もうとしましたが、エラーが発生しました。基本的に、要約はマスターからのみ書き込むことができます。回避する簡単な方法はありますか? エラーは次のとおりです。"Writing a summary requires a summary writer."

バケットとフォルダの選択後にモデルの新しいバージョンを作成しているときに、Cloud Console からこのエラーが発生しました。

クラウド ml (Google クラウド プラットフォーム) で tensorflow バックエンドで Keras を実行してみました。keras は GPU を使用していないようです。私の CPU で 1 エポックを実行するパフォーマンスは 190 秒で、ダンプされたログに表示されるものと同じです。コードが GPU で実行されているか、ケラスの CPU で実行されているかを識別する方法はありますか? Tensor フロー バックエンドを実行している Cloud ML で Keras を試した人はいますか??

Google Cloud ML のIris の例は、次の手順で Tensorflow モデルへの入力テンソルを作成できることを明確に示しています。

• 作成= 機能名をオブジェクトfeature_setにマッピングする辞書ml.features.FeatureColumn
• に渡しfeature_setてml.Preprocessメタデータ オブジェクトを生成する
• を呼び出します。これは、そのメタデータ オブジェクトを使用して、エンコードされたトレーニング例を表す Tensor を の機能を表す Tensor の dict にml.features.FeatureMetadata.parse_features変換する Tensor を作成します。tf.Examplefeature_set

ml.features.ImageFeatureColumnただし、に を含めると、これは機能しませんfeature_set。特に、FeatureMetadata.parse_features画像特徴に対して間違った形状のテンソルを生成します。の戻り値で定義されているようImageFeatureColumn.transformに、画像の特徴は JPEG でエンコードされたスカラー文字列で構成され、対応する Tensor が shape であることを示唆してい(BATCH_SIZE, 1)ます。しかしFeatureMetadata.parse_features、 shape の Tensor が得られます(BATCH_SIZE, ImageFeatureColumn.feature_size > 1)。

これによりtf.image.decode_jpeg、その Tensor を呼び出すことができなくなります。関数を機能させるためにどのような柔道を採用しても、次のエラーが発生します。

ValueError: 524288 個の要素を持つテンソルを形 () (1 要素) に変更することはできません

ImageFeatureColumn.feature_size(またはこの値に基づいて生成されたメタデータ) を 1に変更すると、このエラーは表示されなくなります。

次のスクリプトを実行すると、このエラーを確認できます: http://pastebin.com/kHjqgp0r

(引数なしでスクリプトを実行して、エラーを確認します。引数を指定して実行し--hack、スクリプトで行った修正が機能したことを確認します。)

これはバグですか？

ところで、これは のバージョン 0.1.7-alpha にありgoogle.cloud.mlます。