問題タブ [executors]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
java - Javaでキャッシュされたスレッドプールのサイズを動的に変更する方法
現在、仕事で先物を使用して非同期スレッドを実行しています。その機能を「cachedThreadPool」に似たものにしたいだけでなく、次の 2 つのことも行いたいと考えています。
スレッドが正常に完了するたびに、許可されるスレッドの最大数を増やします。
スレッドが例外またはタイムアウトをスローした場合、許可されるスレッドの最大数を減らします。
これはカスタムで可能ThreadPoolExecutorですか？私はこの方法でエグゼキューターを使用するのは初めてなので、正しい方向に私を向けることは、これを解決するのに非常に役立ちます.
java - ScheduledExecutorService を正しく使用するには?
したがって、ScheduledFuture を使用するのはこれが初めてであり、おそらくここで頭を悩ませていることを認めます。以下のサンプルを動作させることができないようです。目標は、次のセットに移動して無期限に繰り返す前に、それぞれ独自のタイムアウトで 2 セットのアクションを実行することです。
問題は、私がこの出力を取得し続けることです:
上記の NetworkIO.java:29 の参照行は次のとおりです。
memory - Spark executor が失われ、yarn コンテナがメモリ制限のためにそれを強制終了するのを回避するにはどうすればよいですか?
ほとんどの場合に起動する次のコードがありますhiveContext.sql()。私の仕事は、いくつかのテーブルを作成し、すべてのハイブ テーブル パーティションの処理後に値を挿入することです。
したがって、最初に起動show partitionsし、その出力を for ループで使用して、テーブルを作成し (テーブルが存在しない場合)、 を使用してテーブルに挿入するいくつかのメソッドを呼び出しますhiveContext.sql。
現在、エグゼキューターで実行することはできないためhiveContext、ドライバー プログラムの for ループでこれを実行する必要があり、1 つずつシリアルに実行する必要があります。YARN クラスターでこの Spark ジョブを送信すると、ほとんどの場合、シャッフルが見つからないという例外が原因でエグゼキューターが失われます。
これは、メモリの過負荷のために YARN がエグゼキュータを強制終了しているためです。ハイブ パーティションごとに非常に小さなデータ セットがあるため、理由はわかりませんが、それでも YARN がエグゼキュータを強制終了します。
次のコードは、すべてを並行して実行し、すべてのハイブ パーティション データを同時にメモリに格納しようとしますか?
java - 既存の ForkJoinPool または ExecutorService?
私はばかげた問題を抱えています.ExecutorServiceが必要です（そしてForkJoinPoolはそのようなものです）が、新しいものを初期化してその参照を保持したくありません.静的なForkJoinPoolを維持するJDKクラスに戻って実行したことを覚えています.さまざまな用途に使用でき、他のプロセスで使用できますが、見つけることができないようで、オンラインでそのようなことについての情報はあまりありません。そのようなものが存在するかどうか知っていますか？
java - Java Executor フレームワークが実装する設計パターンは?
私の理解では、Abstract Factory と非常によく似ているようです。
ノート：
エグゼキュータ インターフェイス:
そして、さまざまな実装Executorsの静的ファクトリを含むクラスがあります。Executor
jenkins - 別のマスターのスレーブとしての Jenkins マスター
これはクレイジーなアイデアかもしれませんが、私はそれを投げています。
1 つの Jenkins マスターのエグゼキューターを別の Jenkins マスターからスレーブ (エグゼキューター) として使用できるようにすることは可能ですか?
つまり、JenkinsMaster1 (10 のエグゼキューターを持つ) としましょう。たくさんのスレーブがあります (さまざまな OS で、スレーブごとにさまざまな数のエグゼキュータがあります) が、それらはすべて使用されているか、何かを実行しています。
別の JenkinsMaster2 があり、このインスタンスには同じセットアップ (N 個のエグゼキューターを持つスレーブの束) がありますが、これには (マスター上またはそのスレーブ上に) いくつか/多くのフリー エグゼキューターがあります。
問題は、JenkinsMaster1 インスタンスで実行するように構成されたジョブが必要な場合 (JenkinsMaster1/そのスレーブの他のすべてのエグゼキューターが使用されている間)、JenkinsMaster1 の新しいスレーブを作成できない理由、またはエグゼキューターを追加/増加しない理由ではありません。JenkinsMaster1 のマスター/スレーブですが、JenkinsMaster2のエグゼキューター (または JenkinsMaster2 が所有するスレーブ) を使用して、JenkinsMaster1 で構成されたジョブを実行することはできますか?