問題タブ [sparklyr]

sparkR に接続するために、ローカルの RStudio セッションで次のコマンドを試しました -

しかし、次のエラーが発生します-

何か助けはありますか？

前もって感謝します

sparklyrcsvファイルをRに読み込むために使用しようとしています..csvをRに読み込むことはできますread.csv()が、使用しようとするspark_read_csv()と壊れます。

ただし、このコードを実行しようとすると、次のエラーが表示されます。

as.hexmode(xx) のエラー: 'x' をクラス "hexmode" に強制することはできません

そのエラーをグーグルで調べてもあまり見つかりませんでした。ここで何が起こっているのか、誰かに光を当てることができますか?

sparklyrを使用して、Spark ( http://spark.apache.org/docs/latest/programming-guide.html )のmapPartitionsとreduce関数を使用したいと考えています。

pysparkでは簡単です。使用する必要があるのは、プレーンな python コードだけです。Python 関数をコールバック関数として簡単に追加できます。とても簡単。

たとえば、pysparkでは、これら 2 つの関数を次のように使用できます。

ただし、 sparklyrライブラリなどの R ではこれができないようです。RSpark を確認しましたが、R でデータをクエリ/ラングリングする別の方法のようです。

Rコールバック関数を使用して、Rでこれら2つの関数を使用する方法を教えていただければ幸いです。

ベースrでは、データフレームから列（変数）の名前を簡単に抽出できます

しかし、sparklyr を使用すると、事態はさらに複雑になります。データフレームをsparkにコピーした後、

変数名は実際には「ops」の奥深くにあります

これがすべてである場合、問題はありません (そして、この質問をする必要はありません)。ただし、testdf_tbl で操作が発生するたびに、以下に示すように、列/変数の名前がその位置を変更します。

別の操作は、別の $x をパスに追加します..など。

さらに悪いことに、変数のリストには、行った選択操作が反映されておらず、列名として a1、a2 がまだリストされています。一方、

明らかに、選択操作は、spark データフレームの使用方法に影響を与えています。

確かに、sparklyr の変数/列の現在の名前を抽出する単純で簡単な方法があります。これnames()はベース r のラです。

sparklyr を使用して spark をインストールしようとしていますが、

次のエラーが表示されます。

次に、Webからsparkをダウンロードして使用しました

これは私に同じエラーを与えます:

何かアドバイス？

前もって感謝します。

R パッケージを作成して、R から Apache Spark 用のスタンフォード CoreNLP ラッパー (databricks による) を使用できるようにしようとしています。sparklyr パッケージを使用して、ローカルの Spark インスタンスに接続しています。次の依存関係関数でパッケージを作成しました

ログには、依存するjarがロードされている両方のdatabricksパッケージが表示されます。すべての coreNLP を stanford-corenlp-full フォルダーに抽出したので、すべての依存関係が正しく読み込まれるはずです。

.

したがって、databricks sparkLib 関数 ( com.databricks.spark.corenlp.functionsにあります)を呼び出すことができるはずです。

ただし、呼び出すときに関数クラスが見つからないようです

エラーメッセージが表示されます

依存関係が正しく読み込まれていないのか、別の問題があるのか​​ わかりません。

どんな助けでも大歓迎です。

以下はsessionInfoRStudioからの私のものです

Sparklyr を使用して R を Spark に接続しようとしています。

rstudioブログのチュートリアルに従いました

を使用してsparklyrをインストールしてみました

• install.packages("sparklyr")これはうまくいきましたが、別の投稿で、sparklyr_0.4 バージョンにバグがあることがわかりました。だから私は指示に従ってdevバージョンをダウンロードしました

• devtools::install_github("rstudio/sparklyr")これもうまくいき、私のsparklyrのバージョンはsparklyr_0.4.16になりました。

rstudioチュートリアルに従って、sparkをダウンロードしてインストールしました

最初に使用してスパークに接続しようとしたとき

次のエラーが発生しました。

次に、winutils.exe をダウンロードして配置しましたC:\Users\rkaku\AppData\Local\rstudio\spark\Cache\spark-1.6.2-bin-hadoop2.6\tmp\hadoop\bin。これは説明書に記載されています。

もう一度スパークに接続してみました。

しかし、次のエラーが発生しました

誰かがこの問題を解決するのを手伝ってくれませんか? 私は過去 2 週間からこの問題にあまり助けを借りずに座っています。これを解決するのを手伝ってくれる人に本当に感謝します。

私は使用sparklyrしていますが、うまく機能しているようです。ただし、以前のコードの一部は実装されません。

使用時期

私は得る

エラー: org.apache.spark.sql.AnalysisException: 未定義の関数 COMPLETE.CASES

quantile関数に対して同じ結果が得られます

さらに、Spark データフレームでis.naは が同じ方法で計算されないようです。だから私がするとき

V1でいっぱいでで空のすべてのフィールドを返すのではなく、空のデータフレームを取得しますV2。

これらの関数を で使用/変更するsparklyr方法、またはこれらのラッパーを構築する方法に関するアドバイスはありますか?