問題タブ [google-cloud-ml]

RESTful APIを使用してクラウドにトレーニング ジョブを送信しましたが、正常に完了したことをコンソール ログで確認できます。モデルをデプロイして予測に使用するために、(ハウツー ガイドtf.train.Saver().save()に従って) を使用して最終モデルを保存しました。

ローカルで実行すると、作業ディレクトリにグラフ ファイル (export-*および) が見つかります。export-*.metaしかし、クラウド上で実行すると、それらがどこに行き着くのかわかりません。API には、これを指定するためのパラメーターがないようです。トレーナー アプリのバケットにはありません。また、ジョブによって作成されたクラウド ストレージに一時的なバケットが見つかりません。

私は実際に Google クラウドで新しい Machine Learning API を試しています。すべてのチュートリアルは問題なく動作し、Machine Learning API が有効になり、モデルをトレーニングして、コマンド ラインでジョブのステータスにアクセスできます。しかし、何らかの理由で、モデルとジョブをオンラインで管理するためのページhttps://console.cloud.google.com/ml/を開くことができません。

また、 https://console.cloud.google.com/home/dashboardの左側の「製品とサービス」列に機械学習ボタンがありません。

なくてもいいとしても、このコンソールにアクセスして仕事を楽にできたらいいのにと思います。

ここで同じ質問を見つけました: Google Cloud ML Console UI はどこにありますか? しかし、同僚の 1 人がアクセスできるようになったため、問題は解決したようです。更新するものはありますか？

Google Cloud ML でトレーニングした 2 つのモデル バージョンがあります。1 つは 2 つのワーカーを使用し、もう 1 つはマスター ノードのみを使用します。ただし、分散モードでトレーニングした後は、再現率が大幅に低下します。約 2000 ステップで提供されているサンプル例に従いました (ワーカーとマスターの両方がステップに貢献しています)。

マスターのみ

マスターと 2 人のワーカー

私は、履歴書を分類することからなるマルチクラス分類問題に取り組んでいます。

sklearn とその TfIdfVectorizer を使用して、大きな scipy スパース マトリックスを取得し、ピクルス化した後に Tensorflow モデルにフィードしました。私のローカル マシンで、それをロードし、小さなバッチを高密度の numpy 配列に変換し、フィード ディクショナリを埋めます。すべてがうまく機能します。

今度は ML クラウドで同じことをしたいと思います。pickle は に保存されてgs://my-bucket/path/to/pickleいますが、トレーナーを実行すると、この URI ( ) に pickle ファイルが見つかりませんIOError: [Errno 2] No such file or directory。私はpickle.load(open('gs://my-bucket/path/to/pickle), 'rb')自分のデータを抽出するために使用しています。これは GCS でファイルを開く良い方法ではないと思いますが、私は Google Cloud にまったく慣れていないため、適切な方法が見つかりません。

また、入力データに TFRecords または CSV 形式を使用する必要があることを読みましたが、私の方法が機能しなかった理由がわかりません。行列の密な表現は大きすぎてメモリに収まらないため、CSV は除外されます。TFRecords はそのようなまばらなデータを効率的にエンコードできますか? pickle ファイルからデータを読み取ることは可能ですか?

問題

REST API を使用して、予測に使用するモデルをトレーニングしてデプロイしました。予測の入力と出力のコレクションを定義し、クラウド ストレージに応じてフォーマットされた json ファイルをアップロードしました。ただし、予測ジョブを作成dataFormatしようとすると、必須パラメーターであるフィールドに使用する値がわかりません。すべての有効な値をリストする方法はありますか?

私が試したこと

私のリクエストは以下のようになります。JSON、NEWLINE_DELIMITED_JSON（データを BigQuery にインポートするときなど）、さらには json mime typeを、考えられるほとんどすべての異なるケースで試しましたapplication/json（上と下をヘビ、キャメルなどと組み合わせたもの）。

ただし、私の試みはすべてこれを取り戻しただけです：

分散モードで 4000 ステップ実行するモデルがあります。120 秒ごとに精度が計算されます (提供された例で行われているように)。ただし、最後のチェックポイント ファイルが見つからない場合があります。

エラー：

チェックポイント gcs://path-on-gcs/train/model.ckpt-1485 のファイルを一致させることができませんでした

チェックポイント ファイルはその場所にあります。2000 ステップのローカル実行は完全に実行されます。

チェックポイントはまだ保存プロセス中であり、ファイルは実際には書き込まれていないと思います。精度がそのように計算される前に待機を導入しようとしました。ただし、これは最初は機能しているように見えましたが、モデルは依然として同様の問題で失敗しました。