問題タブ [automl]

ハイパーパラメータの最適化にSMAC v3を使用しようとしています。

ターゲット関数 ( tae_runner ) の計算量を一定にして最適化プロセスを制限し、「ミニバッチ」モードで実行し たいと考えています。止まったところ。

この計算予算の妥当なサイズを決定するにはどうすればよいでしょうか?
以下に懸念事項を説明します。

私のターゲット関数はかなり高価で、計算に 1 ～ 10 秒、またはそれ以上かかることがあります。したがって、ミニバッチを使用して、問題に固有の追加の手順を実行することにしました。

このコードはうまくいくようです。ドキュメントで見つけたものは次のとおりです。

wallclock_limit、runco ​​unt_limit、および tuner-timeout は、最適化に使用される最大ウォールクロック時間、アルゴリズム呼び出しの数、および CPU 時間をそれぞれ制御するために使用されます。

リポジトリのコードから理解できる限り、このコードは次のように簡単に機能します。

1) SMAC は SMBO をラップし、シナリオとその他のパラメーターをそれに渡します。

2)常に新しいチャレンジャーを生成しているメインの SMBO ループがあります(インターリーブ ランダムを含めて、たまたま 10K になります)。

そしてそれらを現職者と比較します （これまでで最もよく見つかった構成）：

runco ​​unt_limitしか設定していない場合、 time_boundは何ですか?

3) 予算を超えた場合、メインの smbo ループは終了します。

そして、生成され、コストが予測され、ソートされた残りのチャレンジャーは、単にドロップされます。

私の懸念は次のとおりです。runco​​unt_limit の値が小さすぎる場合、たとえば1、または10そのようなものである場合、多くの構成 (5K) を生成、ソート、および破棄するためのリソースが大量に浪費され、開始と停止のオーバーヘッドが発生する可能性があります。ミニバッチごとに smac 。
一方、runco​​unt_limitを 10K の倍数に設定すると、ミニバッチではなくなります。

それらのバッチのサイズを実証する方法を提案できますか?

次の方法で、マルチクラスの問題に対して h2o automl モデルを実行しようとしています

しかし、私はエラーが発生します

h2o.automl(y = 結果、training_frame = train_to_model、max_runtime_secs = 30、: 未使用の引数 (sort_metric = "logloss") のエラー

http://docs.h2o.ai/h2o/latest-stable/h2o-docs/data-science/algo-params/sort_metric.htmlのドキュメントに基づいて、マルチクラス分類問題で対数損失を使用できるはずですが、できません。

私の h2o バージョンは 3.18.0.11 で、R バージョンは 3.4.1 です。

なぜこれが起こっているのか教えてください。ありがとうございました！

Firebase 関数でトレーニングされた AutoML モデルによって予測されたラベルを画像に付けようとしています。この画像は Google Cloud Storage に保存されています。この方法で画像を読み取ろうとしました：

データの読み取りが完了したら、データを「バイナリ」形式に転送します

しかし、これらのエンコードされたデータを「imageBytes」にフィードします。

エラーがスローされます：

しかし、画像を「base64」でエンコードすると、エラーがスローされます。

Pythonでもローカル画像ファイル予測を試みましたが、「バイナリ」バイナリ表現を使用しており、うまく機能しています。Python で「base64」を使用すると、「提供されたイメージは無効です」が返されます。firebase 関数のように。

Cloud Storage から画像を間違った方法で読み取ったのか、画像を間違った方法でエンコードしたのか、混乱しています。

完全な Firebase 関数のコード:

Python での完全なコード:

サンプルフローから取得した糖尿病データセットを使用して、フローを使用して h2o automl 機能を使用しようとしています。現在、バージョン 3.20.0.4 を使用しています。しかし、この機能は機能せず、以下のメッセージがスローされます。助けていただければ幸いです

"opts {"input_spec":{"training_frame":"datase... を使用した POSTJSON /99/AutoMLBuilder の呼び出しでエラーが発生しました...

エラー メッセージ: フィールドが見つかりません: オブジェクト water.automl.api.schemas3.AutoMLBuildSpecV99$AutoMLBuildControlV99@32ca26fc の 'keep_cross_validation_fold_assignment'

実行h2o.automl()すると、リーダーボードで単一のモデルが返されます。ただし、 経由で実際のモデルにアクセスしようとすると@leader@model、次のエラーが発生します。

is.H2OFrame(x) のエラー: スロットのない基本クラス ("NULL") のオブジェクトからスロット "メトリック" を取得しようとしています

同様h2o.predict()に、リーダー モデルを呼び出すと、次のエラー メッセージが表示されました。

.h2o.doSafeREST(h2oRestApiVersion = h2oRestApiVersion, urlSuffix = page, のエラー: エラー メッセージ: オブジェクト 'ダミー' が関数に見つかりません: 引数の予測: モデル

モデルは in を使用して同じセッションで実行されましh2o v3.20.0.2たR。

REST API 経由で画像を送信することにより、C# でカスタム AutoML モデルを実装しようとしていますが、さまざまなエラーが発生し続けます。

私が現在持っているものは次のとおりです。

リモート サーバーがエラーを返しました: (400) 不正な要求。

画像を取得し、呼び出されたバイトの文字列に変換し、byteString次のような jsonRequest オブジェクトを作成しました。

string jsonRequest = "{\"payload\":{\"image\":{\"imageBytes\":\"" + byteString + "\"},}}";

次に、次のような POST リクエストを実行しています。

次に、ヒットrequest.GetResponse();すると、他の情報なしで上記のエラーが表示されます。

参考までに、カスタム AutoML モデルの PREDICT ページの下部から抜粋したスニペットを以下に示します。

リクエスト.json:

リクエストを実行します。

みんなありがとう、しばらくこれにこだわっていました。

REST API 経由で画像を送信して認識できるようにするカスタム AutoML モデルを .NET Web アプリに実装する際に問題が発生しています。エラーが発生し続けます。

リモート サーバーがエラーを返しました: (403) 許可されていません。

私は画像を持っていて、それを呼び出されたバイトの文字列に変換しimageBytesString、次のような jsonRequest オブジェクトを作成しました:

次に、次のような POST リクエストを実行しています。

次に、ヒットrequest.GetResponse();すると、他の情報なしで上記のエラーが表示されます。

参考までに、カスタム AutoML モデルの PREDICT ページの下部から抜粋したスニペットを以下に示します。

リクエスト.json:

リクエストを実行します。

ありがとう

autoML API を使用して画像分類モデルをトレーニングしましたが、そのモデルを使用して特定の画像を予測する Java プログラムを作成したいと考えています。ドキュメントに記載されているように、この API には OAuth スコープが必要です: https://www.googleapis.com/auth/cloud-platform。

個人データを使用しないため、ユーザーがログインする必要はありません。そのため、サービス アカウントを使用することにし、OAuth2 のサービス アカウント用の手順に従ってアクセス トークンを生成しました。

プロセスはうまくいき、私は応答を受け取ります:

次に、autoML 予測のポスト リクエストを送信し、ヘッダー「Authorization」を「Bearer access_token_string」に設定します。エラーメッセージがあります

Web アプリ用に生成された accessToken を使用して試したため (テストしたかっただけです)、予測要求が正しいことはわかっています。問題は認証部分にあります。サービス アカウントにも必要なすべての権限があることを確認しました。問題が正確にどこにあるのかわかりません。誰か考えがありますか?

一部のモデルのトレーニングに H2O 3.20.0.5 を使用しています。

Java コードで AutoML を使用してモデルを構築したい。これで、csv ファイルをインポートして解析できるようになりました。しかし、 を呼び出そうとするとAutoML.startAutoML().get()、常に aj が発生しava.lang.ArrayIndexOutOfBoundsException in ModelBuilder.javaました。

にALGOBASESが定義されていないようですModelBuilder。しかし、アルゴリズムを自動的に作成することになっている AutoML を使用しています。だから私は完全に混乱しています。ここに私のコードがあります：

コードが実行されると、常にその例外が発生しましたAutoML.startAutoML(autoMLBuildSpec).get();。この例外のスタック トレースは次のとおりです。

Postman を介して Google Cloud AutoML API に簡単なリクエストを送信しようとしています。ここでドキュメントを読んでいます: https://cloud.google.com/vision/automl/docs/reference/rest/ v1beta1/projects.locations.datasets/get

このページでは、REST エンドポイントは次のようにする必要があると書かれています。

GET https://automl.googleapis.com/v1beta1/ {名前}

name は「取得するデータセットのリソース名」です。

リソース名とは正確には何ですか？

Google Cloud AutoML にデータセットがあり、データセットの名前を {name} 部分に置き換えていますが、「404 エラー」が発生し続けます。

実際に REST API 呼び出しを Google AutoML に送信する例をオンラインで見つけることができないようです。どんな助けでも大歓迎です。ありがとう！