問題タブ [sparkr]

sparkR に という DataFrame がありpgzます。と が含まれていuser_idますtime。固定の user_id の場合、k取得します

入力するhead(y)と、 user_id のいくつかの時間が表示されますk。"2005-02-04" 、 "2005-06-06" ..すべてソートされているため、増加します。このために、彼が私が設定した固定時間よりも長いuser_idかどうかをテストしたいと思いますtimes

fixtime よりも大きいすべての user_id を保存したいと思います。これはどのように行うことができますか？

Spark - 1.4.1 (R 3.1.3 バージョン) をインストールしました。現在、SparkR をテストして統計モデルを実行しています。次のようなサンプルコードを実行できます。

次に、rJavaパッケージを にインストールしますSparkR。しかし、それはインストールされていません。以下のエラーを与えます。

また、SparkRシェルでコマンドを実行しているときは、32 ビット アプリケーションとして起動されます。以下のようにバージョン情報を強調表示しました。

ですから、この問題を解決するのを手伝ってください。

「データ」と呼ばれるsparkRにデータフレームがあります。「データ」には、「user」、「amount_spent」、および「amount_won」が含まれます。ユーザー 1 の残高 = amount_spent - amount_won を計算したい。

今、私は合計を計算します

ここで、ユーザー 1 の残高を計算します

これですべて正しい結果が得られますが、「バランス」を付けて、DataFrame である「ynn」からの整数として使用したいと考えています。どうやってやるの？そして、これを 100 人のユーザーに対して実行したい場合は、同じことを 100 回実行する必要があると思います。

こんにちは、oozie を介してシェル スクリプトを実行しようとしています。シェル スクリプトの実行中に、次のエラーが発生します。

私のjob.propertiesファイル

私のワークフロー.xml

私のシェルスクリプト - script.sh

エラーログファイル

================================================== ===============

今すぐシェル コマンド ラインを呼び出す >>

問題の解決方法がわかりません。ご協力をお願いいたします。

Hadoop 2.7 クラスターに Spark 1.4.1 をインストールしています。

1. エラーなしで SparkR シェルを開始しました。

   /li>

2. エラーなしで R コマンドを実行しました (spark.apache.org の紹介例):

   /li>

3. コマンドを実行すると：

   /li>

executor ノードで 15/09/02 10:08:29 に次のエラーが発生します。

「Rscript実行エラー: そのようなファイルまたはディレクトリはありません」.

どんなヒントでも大歓迎です。SparkR 以外の Spark タスクは、YARN クラスターで正常に実行されます。R 3.2.1 がインストールされ、ドライバー ノードで正常に動作します。

こんにちは、シェル スクリプトを使用して sparkr プログラムを実行しています。入力ファイルをローカルに指定すると、正常に動作していることを意味しますが、hdfs を指定するとエラーがスローされることを意味します。

どんな助けでも大歓迎です。