問題タブ [microsoft-r]

私はこれらの機能が何をするのかを調べようとしていますが、それに関する情報はあまり見つけられず、私が見つけたものからはあまり明確ではありません. 彼らは何をしますか？

1 億レコードのクエリを実行した後にいくつかの R コードを実行すると、プロセスが 6 時間以上実行された後に次のエラーが発生します。

HRESULT 0x80004005 は、Windows で接続、アクセス許可、または「未指定」エラーに関連付けられているようです。

R コードにログインすると、プロセスが R スクリプトにまったく到達しないことがわかります。また、1M などの少数のレコードでは、手順全体が 4 分後に完了することもわかっています。これは、R コードのバグではなく、スケーリングの問題またはデータの何らかの問題であると私は信じています。独自の理由から、R コードまたは完全なクエリは含めていません。

ただし、ディスクまたはメモリ エラーが発生した場合は、0x80004004 メモリ不足エラーが表示されると思います。

SQL ERRORLOG で気づいた 1 つの手がかりは次のとおりです。

ただし、このログ行の時間はプロセスの中断とは一致しませんが、開始後に発生します。残念ながら、「メジャー エラー 18」についてはウェブ上に貴重な情報がほとんどありません。

SSMS から実行している場合の SQL トレースは、クライアントが約 6 分ごとにログインおよびログアウトしていることを示していますが、これは通常のキープアライブ動作であるとしか考えられません。

サニタイズされた sp_execute_external_script 呼び出し:

サーバー仕様: 8 コア 256 GB RAM SQL Server 2016 CTP 3

アイデア、提案、またはデバッグのヒントをいただければ幸いです。

更新: rlauncher.config で TRACE_LEVEL=3 を設定して、より高いレベルのログを有効にし、プロセスを再実行します。ログは、6.5 時間後にプロセス全体が失敗した時点で実行されたクリーンアップ プロセスを明らかにし、セッション ファイルを削除します。

[2016-05-30 01:35:34.419][00002070][00001EC4][情報] SQLSatellite_LaunchSatellite (1、A187BC64-C349-410B-861E-BFDC714C8017、1、49232、nullptr) 完了: 00000000

[2016-05-30 01:35:34.420][00002070][00001EC4][情報] < SQLSatellite_LaunchSatellite、dllmain.cpp、223

[2016-05-30 08:04:02.443][00002070][00001EC4][情報] > SQLSatellite_LauncherCleanUp、dllmain.cpp、309

[2016-05-30 08:04:07.443][00002070][00001EC4][警告] セッション A187BC64-C349-410B-861E-BFDC714C8017 クリーンアップ待機が 258 とエラー 0 で失敗しました

[2016-05-30 08:04:07.444][00002070][00001EC4][情報] セッション (A187BC64-C349-410B-861E-BFDC714C8017) は 2 つの出力ファイルを記録しました

[2016-05-30 08:04:07.444][00002070][00001EC4][警告] TryDeleteSingleFile(C:\PROGRA~1\MICROS~1\MSSQL1~1.MSS\MSSQL\EXTENS~1\MSSQLSERVER06\A187BC64- C349-410B-861E-BFDC714C8017\Rscript1878455a2528) は 32 で失敗しました

[2016-05-30 08:04:07.445][00002070][00001EC4][警告] TryDeleteSingleDirectory(C:\PROGRA~1\MICROS~1\MSSQL1~1.MSS\MSSQL\EXTENS~1\MSSQLSERVER06\A187BC64- C349-410B-861E-BFDC714C8017) は 32 で失敗しました

[2016-05-30 08:04:08.446][00002070][00001EC4][情報] セッション A187BC64-C349-410B-861E-BFDC714C8017 が MSSQLSERVER06 ユーザーから削除されました

[2016-05-30 08:04:08.447][00002070][00001EC4][情報] SQLSatellite_LauncherCleanUp (A187BC64-C349-410B-861E-BFDC714C8017) 完了: 00000000

実行時間の長いプロセスを続行できるようにする唯一の方法は、次の方法のようです: a) ジョブ クリーンアップの待機時間を延長して、ジョブが終了できるようにする b) ジョブ クリーンアップ プロセスを無効にする

これまでのところ、MSSQLLaunchpad サービスでジョブ クリーンアップの待機時間を設定する値を見つけることができませんでした。JOB_CLEANUP_ON_EXIT フラグが rlauncher.config に存在しますが、これを 0 に設定しても効果はありません。サービスを再起動すると、サービスはそれを 1 にリセットするようです。

繰り返しになりますが、提案や支援をいただければ幸いです。

Microsoft R Server は R の光沢のあるアプリケーションを容易にしますか?

Azure では Microsoft R サーバーをセットアップできることがわかったので、これを使用して光沢のあるアプリケーションをホストすることもできますか?

Windows 7 に DeployR open 8.0.0 をインストールしようとしました。 https://deployr.revolutionanalytics.com/documents/admin/install/#install-winの指示に従ってすべての依存関係をインストールしても、引き続き次のスクリーンショットのようなエラーが発生します。 . JRE 7u72、Revolution R open 8.0.0、MongoDB を %TEMP%/MONGODB_DEPLOYR/mongodb-win32-x86_64-2008plus-2.6.7 および deployrRserve_7.4.2 ライブラリにインストールしました。他に何が間違っている可能性がありますか？

ここに画像の説明を入力

R の並列処理に慣れ始めたばかりです。

プロジェクトにMicrosoft Azure Machine Learning Studioを使用することを計画しているため、 Microsoft R Openが並列処理に提供するものを調査し始めました。 Rコードを変更せずに、利用可能なすべてのコア。この記事では、いくつかのパフォーマンス ベンチマークも示していますが、それらのほとんどは、数学演算を実行する際のパフォーマンスの利点を示しています。

ここまでは良かったです。*applyさらに、内部の機能を並列化するかどうかも知りたいです。*applyまた、関数を一般的に並列化する方法を説明している次の 2 つの記事も見つけました。

1. 並列 R のクイック ガイド with snowsnow :パッケージ、par*apply関数ファミリ、およびを使用して並列処理を促進する方法について説明しますclusterExport。
2. R での並列計算の穏やかな紹介:parallelパッケージ、par*apply関数ファミリ、および環境への値のバインドの使用。

私の質問は、いつ*applyMicrosoft Azure Machine Learning Studio の関数を使用するのか、それは既定で内部で並列化されるのか、それとも などのパッケージを利用する必要があるのか​​ということparallelですsnow。

Microsoft R 3.3.0 を実行している macbook で主成分分析を行っていたところ、奇妙な結果が得られました。同僚に再確認したところ、SVD 関数の出力がバニラ R を使用して得られるものとは異なることに気付きました。

これは再現可能な結果です。ここでファイル (~78 Mb) をロードしてください。

Microsoft R 3.3.0 (x86_64-apple-darwin14.5.0) では、次のようになります。

代わりにバニラ R (2 つの異なる Linux マシンで R 3.3 と R 3.3.1 の両方を使用):

これはすべてのデータで発生するわけではありません。ランダムな行列を作成し、それに svd を適用すると、同じ結果が得られます。つまり、一種の数値不安定性のようですね。

Cx更新: パッケージを使用して、同じバージョンの R を使用して、同じマシン (macbook) 上の同じ行列 () で SVD を計算しようとしましたがsvd 、最終的に「正しい」数値が得られました。次に、Microsoft R Open で使用される svd 実装が原因のようです。

更新: この動作は MRO 3.3.1 でも発生します

最近 Microsoft R Open をインストールしましたが、R の起動時に次のメッセージが表示されます。

「マルチスレッド BLAS/LAPACK ライブラリが検出されました。数学アルゴリズムに 2 つのコアを使用しています。」

MAC では、追加のセットアップなしで 4 コアの使用を開始することになっています。

これを 3 コアまたは 4 コアに変更するにはどうすればよいですか?

ありがとうございました