問題タブ [sparkr]

私はこのdata.frameをsparkRに持っています

これをDataFrameにします

日付 (現在は文字列) を「日付」型に変換したいと考えています。「キャスト」機能を使用します

しかし、head(dft) を使用すると、'time' に NA しか含まれていないことがわかります。

「キャスト」関数に何かを追加する必要があるか、それを使用する前にパッケージをロードする必要がありますか? 別の方法として、data.frame で「as.Date」を使用することもできますが、大きなデータには時間がかかります。

「整数」についてもまったく同じ問題があります。入力すると

時間はNAを生成します。

sparkR に DataFrame 'res' があります。「res」には ID と日付が含まれます。したがって、最初のエントリは次のようになります。'ID' = 1 2 3 ... and 'date' = "2012-6-5", "2013-5-5", "2015-10-11" ...

すべての「日付」を「2010-01-01」で差し引いた新しいデータセットを作成したいと考えています。これはどのように行うことができますか？DataFrame 内のすべての要素を整数で減算したいだけの場合、まったく同じ問題があります。

sparkRでこれを試しました

これは実行されますが、head(newres) と入力すると、次のエラーが表示されます: メッセージ: "returnstatus==0 is not True."

ID = 1 1 1 1 ... and age = 21 23 33 21 ...を含むsparkR 'u'にDataFrameがあります...「ages」の合計を取得するには、これを行います

現在、sumage は double 型の DataFrame です。sumageを整数にしたいので、これを試します

「sumu<- agg(u, amount_spent="sum") can not coerce type 'S4' to vector of type 'double'」というメッセージが表示されます。

これについて何ができるでしょうか？

user_id を含む DataFrame 'data' があります。すべての user_id=1 を取得するには、これを行うだけです

最初の 10 個の user_id、つまり user_id= 1, 2 , 3 ,..., 10 を含む新しい DataFrame 'new_data' を作成したいとします。

SparkR での 1 つの方法は、

これは問題なく機能しますが、j が大きい場合は時間がかかる場合があります。これを行うには、よりスマートで簡単な方法が必要ですか?

Hi i am trying to run the sparkR in the cluster.when i am running the sparkR using yarn client i am getting error.

i tried the following query.

any help will be appreciated.

'u' は、ID = 1、2、3 .. および time= "2010-01-01", "2012-04-06", .. を含む DataFrame です。ID と時間の型は文字列です。時間のタイプを「日付」に変換します

私は今あなたに初めて欲しいです。

最初の時間に 150 日を追加して、新しい時間を作成します。

私は今、サブセットを作りたいと思っています。時間が最初の 150 日からある新しい「u」が必要です。

しかし、これは sparkR では実行できません。「returnstatus==0 is not TRUE」というメッセージが表示されます。

現在、sparkR を使用して 1 つのアプリケーションをテストしています。これは私のプラットフォームとアプリケーションの詳細です:

プラットフォーム: Windows サーバー 2008 SparkR バージョン: R バージョン 3.1.2 (2014-10-31) Spark バージョン: バージョン 1.4.1

私がしたこと？

ステップ I: パッケージを R 環境にロードする

ライブラリ (SparkR) -- 動作中

ステップ II: システム環境変数を設定する

Sys.setenv(SPARK_HOME = "C:\hdp\spark-1.4.1-bin-hadoop2.6") -- 動作中の .libPaths(c(file.path(Sys.getenv("SPARK_HOME"), "R", "lib"),.libPaths()))

ステップ III: Spark コンテキストと SQL コンテキストを作成する

sc <- sparkR.init(master = "local",sparkHome = "C:\hdp\spark-1.4.1-bin-hadoop2.6",appName = "TestSparR")

この行でエラーが発生します。つまり、 JVM は 10 秒後に準備ができていません

この問題の解決を手伝ってください。ありがとう。