問題タブ [azure-machine-learning-studio]

AzureML で使用する Python スクリプトを作成しています。私のデータセットはかなり大きいです。ID(int) と DataType(text) という列を持つデータセットがあります。これらの値を連結して、コンマで区切られた ID と DataType の両方を持つテキストを含む 1 つの列だけを作成したいと考えています。

これを行うときにエラーが発生しないようにするにはどうすればよいですか。コードに誤りはありますか?

このコードを実行すると、次のエラーが表示されます。

私のコードは以下の通りです：

AzureML で既定の Python コードを実行すると、同じエラーが発生します。したがって、私のデータがデータフレームに収まらないと確信しています。

デフォルトのスクリプトは次のとおりです。

ReaderAzure ML Experiments は、およびWriterモジュールを介して Azure Blob Storage に対して CSV ファイルを読み書きする方法を提供します。ただし、JSON ファイルを BLOB ストレージに書き込む必要があります。そうするモジュールがないので、Execute Python Scriptモジュール内からそうしようとしています。

ただし、これによりエラーが発生します。ImportError: No module named azure.storage.blob

これは、azure-storagePython パッケージが Azure ML にインストールされていないことを意味します。

Azure ML Experiment 内から Azure BLOB ストレージに書き込むにはどうすればよいですか?

フィル エラー メッセージは次のとおりです。

みんな、ありがとう！

更新: 以下のアイデアについて、Dan と Peter に感謝します。これは、これらの推奨事項を使用して私が行った進歩です。クリーンな Python 2.7 仮想環境を (VS 2005 で) 作成しpip install azure-storage、依存関係を自分の site-packages ディレクトリに取得しました。次に、以下の Dan のメモに従って、site-packages フォルダーを圧縮し、Zip ファイルとしてアップロードしました。次に、site-packages ディレクトリへの参照を含め、必要なアイテムを正常にインポートしました。これにより、ブログ ストレージへの書き込み時にタイムアウト エラーが発生しました。

これが私のコードです：

そして、ここに新しいエラーログがあります:

私の現在の調査は、 のrequestsPython パッケージに依存しているということですazure-storage。requestsには、新しい SSL プロトコルを呼び出すための Python 2.7 の既知のバグがあります。確かではありませんが、私は今そのエリアを掘り下げています。

更新 2: このコードは、Python 3 Jupyter ノートブック内で完全に正常に実行されます。さらに、BLOB コンテナーをパブリック アクセスに公開すると、URL を介してコンテナーから直接読み取ることができます。たとえばdf = pd.read_csv("https://mystorageaccount.blob.core.windows.net/upload/test.csv")、ブロブ ストレージからファイルを簡単に読み込むことができます。ただし、を使用しazure.storage.blob.BlobServiceて同じファイルから読み取ることはできません。

更新 3: 以下のコメントで、Dan は、 Azure ML でホストされている Jupyter ノートブックから試すことを提案しました。ローカルの Jupyter ノートブックから実行していました (上記の更新 2 を参照)。 ただし、Azure ML Notebook から実行すると失敗し、エラーはrequires再びパッケージを指します。そのパッケージの既知の問題を見つける必要がありますが、私の読書によると、既知の問題は urllib3 にあり、Python 2.7 にのみ影響し、Python 3.x バージョンには影響しません。これは Python 3.x ノートブックで実行されました。うーん。

更新 4: Dan が以下に記しているように、これは Azure ML ネットワークの問題である可能性があります。これExecute Python Scriptは比較的新しく、ネットワーク サポートを取得したばかりです。ただし、まったく異なる Azure プラットフォーム上にある Azure App Service Web ジョブでもこれをテストしました。(また、まったく異なる Python ディストリビューション上にあり、Python 2.7 と 3.4/5 の両方をサポートしますが、32 ビットのみで、64 ビット マシンでもサポートします。) そこのコードも失敗し、InsecurePlatformWarningメッセージが表示されます。

Azure の機械学習は初めてです。Azure の機械学習を使用して、質問の類似性アルゴリズムを実装しようとしています。多数の質問と回答があります。私たちの目的は、新しく追加された質問が重複しているかどうかを特定することです。新しい質問をすると、Stackoverflow が既存の質問を提案するように、Azure の機械学習サービスを使用してこれを解決できますか? 誰かが私たちを正しい方向に導くことができますか?

私が設計、トレーニング、および Azure ML 実験 (2 つのクラスの決定ジャングルを使用) を Web サービスとして公開したモデル は、正常に呼び出すことができ、(しきい値 0.5 に基づいて) 期待される結果を返します。

問題 しかし、返された結果を操作して、希望する精度、精度、および再現率に近い結果を提供したいと考えていますが、これはたまたまデフォルトのしきい値である 0.5 と一致しません。これは、評価結果を視覚化し、しきい値スライダーを中央 (0.5) から左右に動かすことで、ML Studio を介して簡単に行うことができます。

多くの Azure ML ドキュメントとチュートリアルをグーグルで検索して読みましたが、これまでのところ、トレーニング済みで公開済みの実験でしきい値を変更し、別のスコア付き確率を返す方法がわかりません。

機械学習を使用して、数値のリストを変換/変更できますか?

車両の ECU から読み取ったバイナリ ファイルのペアが多数あります。車両がチューニングされる前のオリジナル ファイルまたはストック ファイルと、エンジン パラメータが変更された修正済みファイルです。ファイルは基本的に、リトルまたはビッグ エンディアンの 16 ビット数値のリストです。

これらのファイルのペアを機械学習にフィードして、新しいストック ファイルを取得し、そのストック ファイルを変換または調整しようとすることが可能かどうか疑問に思っていました。

これが可能かどうか誰かが教えてくれれば幸いです。私が見つけたすべての例は、何らかの変換を行うのではなく、データに対して決定を下しているように見えます。

また、これには紺碧を使用したいと考えています。

そのため、現在 Azure Machine Learning の実験に取り組んでいます。モデルを作成し、Web サービスとして投稿することができました。Web サービスを作成したときに生成された API ドキュメントで提供されている C# のサンプル リクエスト/レスポンス コードを使用して、レスポンスを取得することもできました。

私の問題は、Web サービスによって提供される応答に、C# アプリケーションに必要な唯一のものである予測スコアを含む多くの情報 (長い文字列の情報) が含まれていることです。頭に浮かぶ唯一のことは、必要な情報を抽出するために文字列操作メソッドを使用することです。しかし、それよりも良い方法があると思います。HTTP リクエスト/レスポンスは初めてなので、詳しい回答と説明をお願いします。

これが私のコードです：

応答メッセージは次のとおりです。

"Values":[[...]] 内の値のみが必要です。この場合、9 番目のインデックスまたは "1" です。