問題タブ [py4j]

Py4j を使用するこのコードを理解しようとしています。ただし、コードを実行するたびに、同じエラーが発生します。Ubuntu 14.04 に py4j をインストールしました。jar ファイルは usr/share/py4j にあります。

コードは

私が得ているエラーは

ファイル "/home/shiju/Downloads/Abstractive Summarizer/SumMe-master/Summarizer/preprocessor.py"、29 行目、detector.init(LangPaths) 内

ファイル "/usr/local/lib/python2.7/dist-packages/py4j/java_gateway.py"、811 行目、__call_ answer = self.gateway_client.send_command(command)`

ファイル「/usr/local/lib/python2.7/dist-packages/py4j/java_gateway.py」、624行目、send_command connection = self._get_connection()

ファイル "/usr/local/lib/python2.7/dist-packages/py4j/java_gateway.py"、579 行目、_get_connection 接続 = self._create_connection() ファイル "/usr/local/lib/python2.7/dist -packages/py4j/java_gateway.py"、585 行目、_create_connection connection.start() 内

ファイル「/usr/local/lib/python2.7/dist-packages/py4j/java_gateway.py」の 697 行目で、開始時に Py4JNetworkError(msg, e) py4j.protocol.Py4JNetworkError: 接続中にエラーが発生しましたJava サーバー

Python が Java アプリケーションに接続できないと思います

Spark 環境で特定のことを行う (ほとんどの場合、バックエンドをインテリジェントにクエリする) ための Java ライブラリがあります。それらの機能を使用したいのですが、Python で開発しています。これを行う標準的な方法はありますか (「これ」はおそらく Java と Python の間で RDD とアクティブな SparkContext を渡すことを意味します)?

私は、 PySparkが Py4J を使用してSparkContextを公開していることを確認したので、必要なすべての Java コードを Python から多かれ少なかれ実行できると思います。しかし、Py4J インターフェースの Python ラッパーを見ると、多くのことが間違っているように見え、より詳細なパスが望ましいと思われます。

PySpark でカスタム HDFS リーダー クラスを実行しようとしています。このクラスは Java で記述されており、シェルまたは spark-submit を使用して、PySpark からアクセスする必要があります。

PySpark では、SparkContext から JavaGateway を取得します ( sc._gateway)。

クラスがあるとします：

私はそれをjarファイルにパッケージ化し、--jarオプションを付けてpysparkに渡してから実行しようとしました:

しかし、私はエラーが発生します:

誰かがこれを手伝ってくれますか？ありがとう。

私は基本的にpythonコードを書きたいと思っています。そこから入力文字列をjaveプログラムに送り、javaプログラムがそれを実行して結果をpythonファイルに返します。出来ますか？

Javaアプリケーションを使用してPythonからSQLデータベースにデータを保存できるようにするpy4jを使用してアプリケーションを作成しました。JVMをアプリケーションとして実行すると、実際にデータが保存されます。しかし、サーバーでコードを実行すると、例外が返されます。そのため、サーバー(Wildfly)とPy4jが同じポートを使用している可能性があると考えたため、デフォルトのpy4jポートを変更しました。変更後は次のようになります。

しかし、まだ例外があります:

どんな提案でも大歓迎です。

現在、Spark 1.3 と Python 2.7 の 50 ノードのクラスターでリアルタイムの Spark ストリーミング ジョブを実行しています。Spark ストリーミング コンテキストは、180 秒のバッチ間隔で HDFS のディレクトリから読み取ります。以下は、Spark ジョブの構成です。

spark-submit --master yarn-client --executor-cores 5 --num-executors 10 --driver-memory 10g --conf spark.yarn.executor.memoryOverhead=2048 --conf spark.yarn.driver.memoryOverhead= 2048 --conf spark.network.timeout=300 --executor-memory 10g

ほとんどの場合、ジョブは正常に実行されます。ただし、通信チャネルを取得できないことを理由に、約 15 時間後に Py4j Exception をスローします。

バッチ間隔のサイズを小さくしようとしましたが、処理時間がバッチ間隔よりも長くなるという問題が発生します。

以下はエラーのスクリーンショットです

Py4jエラー

いくつかの調査を行ったところ、ここからのソケット記述子のリークの問題である可能性があることがわかりましたSPARK-12617

ただし、エラーを回避して解決することはできません。ポートの提供を妨げている可能性のある開いている接続を手動で閉じる方法はありますか。または、これを解決するためにコードに特定の変更を加える必要がありますか。

ティア

Python からカスタム Java クラスを呼び出せるように、次の MyPythonGateway.java を作成しました。

これが私のPythonコードでの使用方法です。

MyPythonGateway.findMyNum()ここで、スタンドアロンの Python スクリプトだけでなく、PySpark の関数を使用したいと考えています。私は次のことをしました：

ただし、次のエラーが発生しました。

それで、私はここで何を逃したのですか？pyspark を使用する場合、ゲートウェイ サーバーを起動するために MyPythonGateway の別の JavaApplication を実行する必要があるかどうかはわかりません。ご意見をお聞かせください。ありがとう！

以下はまさに私が必要とするものです：

これにアプローチする最良の方法は何ですか？ありがとう！