Spark 環境で特定のことを行う (ほとんどの場合、バックエンドをインテリジェントにクエリする) ための Java ライブラリがあります。それらの機能を使用したいのですが、Python で開発しています。これを行う標準的な方法はありますか (「これ」はおそらく Java と Python の間で RDD とアクティブな SparkContext を渡すことを意味します)?
私は、 PySparkが Py4J を使用してSparkContextを公開していることを確認したので、必要なすべての Java コードを Python から多かれ少なかれ実行できると思います。しかし、Py4J インターフェースの Python ラッパーを見ると、多くのことが間違っているように見え、より詳細なパスが望ましいと思われます。