問題タブ [tfx]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
apache-spark - すべてのポートが開いている同じローカルネットにあった 2 つのポッドを kubernetes で接続する方法
TLDR;
すべてのポートが開いている同じローカルネットにあったため、Kubernetes で 2 つのポッドを接続することは可能ですか?
動機
現在、Kubernetes クラスターにエアフローを実装しており、TensorFlow Extended を使用することを目指して、Apache ビームを使用する必要があります。私たちのユース ケースでは、Spark が適切なランナーとして使用されます。エアフローと TensorFlow は Python でコーディングされているため、Apache Beam のポータブル ランナー ( https://beam.apache.org/documentation/runners/spark/ #携帯性)。
問題
エアフロー ポッドとジョブ サーバー ポッド間の通信で、送信エラーが発生しています (ジョブ サーバーによって使用されるランダムなポートが原因である可能性があります)。
設定
優れた分離プラクティスに従い、Kubernetes 共通セットアップで Spark を模倣する (ポッド内のクラスター内のドライバーを使用する) ために、ジョブ サーバーは次のように実装されました。
開発/エラー
python -m apache_beam.examples.wordcount --output ./data_test/ --runner=PortableRunner --job_endpoint=beam-spark-job-server:8099 --environment_type=LOOPBACKエアフロー ポッドからコマンドを実行すると、ジョブ サーバーにログが記録されず、ターミナルに次のエラーが表示されます。
これは、ジョブの送信中にエラーが発生したことを示しています。エアフローと同じポッドに Job Server を実装すると、これら 2 つのコンテナ間で完全に機能する通信が得られます。同じ動作をさせたいのですが、異なるポッドでそれらを使用したいと考えています。