問題タブ [sparklyr]

sparklyrR パッケージはYARN 管理の Hadoop クラスターに接続できますか? これは、クラスター展開のドキュメントには記載されていないようです。SparkRSpark に同梱されているパッケージを使用すると、次のように実行できます。

ただし、上記の最後の行を

エラーが発生します：

sparklyrパッケージの代替品ですか、それともパッケージSparkRの上に構築されていSparkRますか?

Rstudio を使用して R を Spark のローカル インスタンスに接続しようとしています。ただし、エラーメッセージが表示されます。私は何が欠けていますか？Windows 10 を使用しています。rstudioのチュートリアルに従っています。

私が得ているエラーメッセージ：

ここでの例に沿って従うことができるポイントに到達しました(config=list()入力引数に追加するというわずかな変更のみ)。

ただし、他の R 関数を使用しようとすると、dplyrうまくいかないことがあります。

明らかにgreplサポートされていません。私の質問は: ベース R または R パッケージ関数を使用する方法はありますか? そうでない場合、それは来ますか？これらの線に沿った作業はdapplyとv2gapplyで進行しているようですSparkRが、 で動作する場合は素晴らしいことsparklyrです。

次の例では、フィールド内のマップ オブジェクトのネストされたレコードを含む寄木細工のファイルを読み込んでいmetaます。sparklyrこれらをうまく処理しているようです。ただしtidyr::unnest、SQL (または HQL - 当然のことながら - のようなものLATERAL VIEW explode()) には変換されないため、使用できません。他の方法でデータのネストを解除する方法はありますか?

また、データを収集する際にも問題があります。例えば、

上記のmetaファイルspark_jobjには、リスト、data.frames、さらには JSON 文字列 (Hive がそのようなデータを返す方法) の代わりに要素がまだ含まれています。tidyrこれにより、収集されたデータでさえ機能しない状況が作成されます。

私が行方不明になっていることsparklyrで、よりうまく仕事をする方法はありますか? tidyrそうでない場合、これは将来のsparklyr開発で計画されていますか?

SparkR と sparklyr の長所/短所に関する概要を知っている人はいますか? Google では満足のいく結果が得られず、どちらもかなり似ているようです。両方を試してみると、SparkR はかなり面倒に見えますが、sparklyr はかなり簡単です (インストールするだけでなく、特に dplyr 入力で使用することもできます)。sparklyr は、dplyr 関数を並列または「通常の」R コードで実行するためにのみ使用できますか?

一番

ローカル デスクトップの RStudio セッションを、sparklyr を介してリモートの spark セッションに接続したいと考えています。RStudio の sparklyr ui タブで新しい接続を追加し、クラスターを選択すると、クラスターで実行するか、クラスターへの高帯域幅接続が必要であると表示されます。

その種の接続を作成する方法を明らかにできる人はいますか? これの再現可能な例を作成する方法はわかりませんが、一般的にやりたいことは次のとおりです。

リモートサーバーから。特にリモート間でデータをやり取りしようとすると、遅延が発生することを理解しています。また、実際のクラスターに rstudio-server を配置した方がよいことも理解していますが、それが常に可能であるとは限りません。サーバーとデスクトップ RStudio セッションの間で対話するための sparklyr オプションを探しています。ありがとう。