sparklyrを使用して、Spark ( http://spark.apache.org/docs/latest/programming-guide.html )のmapPartitionsとreduce関数を使用したいと考えています。
pysparkでは簡単です。使用する必要があるのは、プレーンな python コードだけです。Python 関数をコールバック関数として簡単に追加できます。とても簡単。
たとえば、pysparkでは、これら 2 つの関数を次のように使用できます。
mapdata = self.rdd.mapPartitions(mycbfunc1(myparam1))
res = mapdata.reduce(mycbfunc2(myparam2))
ただし、 sparklyrライブラリなどの R ではこれができないようです。RSpark を確認しましたが、R でデータをクエリ/ラングリングする別の方法のようです。
Rコールバック関数を使用して、Rでこれら2つの関数を使用する方法を教えていただければ幸いです。