問題タブ [workload]

私のプロジェクトでは、コンテンツの検索と一覧表示全体が Lucene に依存しています。私はパフォーマンスの問題に直面していません。まだ、プロジェクトは開発段階にあり、本番環境への道のりは長いです。

プロジェクトが大規模な構造で完了する前に、パフォーマンスの問題を見つけなければなりません。ルセンの過剰使用は可能かどうか？

ここで、異なる JVM (おそらく異なるマシン) で実行されている複数の Java プロセスに作業を分散する必要がある状況があります。

1 から 1000 までのレコードを持つテーブルがあるとします。10 のセットを収集して配布する作業を探しています。1 から 10 のレコードを workerOne に送信するとします。次に、workerThree に 11 ～ 20 を記録します。などなど。言うまでもなく、workerTwo がそれを実行できない限り、workerOne が workerTwo の作業を実行することはありません。

この例は純粋にデータベースに基づいていましたが、ファイル処理、電子メール処理など、あらゆるシステムに拡張できます。

すぐに対応できるのは、Master/Worker アプローチを採用することだと少し感じています。ただし、ここではさまざまな JVM について説明しています。1 つの JVM がダウンしても、もう 1 つの JVM はその作業を続行する必要があります。

今、百万ドルの質問は次のとおりです。これを行うための機能を提供する優れたフレームワーク（生産準備が整っている）はありますか。データベース レコード、ファイル処理、電子メール処理などの特定のニーズの具体的な実装がある場合でも。

Java Parallel Execution Framework を見たことがありますが、それが別の JVM に使用できるかどうか、また一方が停止した場合にもう一方が継続するかどうかはわかりません。ワーカーは複数の JVM 上にある可能性があると思いますが、マスターはどうでしょうか?

詳細情報 1: JDK 1.6 要件のため、Hadoop が問題になります。それは少し多すぎます。

ありがとう、フランクリン

処理対象アイテムと処理中アイテムの両方の破棄をサポートするバックグラウンド処理エンジンを構築しています。これは、いくつかの入力要素の重い処理を必要とする winforms アプリケーションで使用するためのものです。そのため、ワークロード アイテムをキューに入れることができるキュー エンジンを構築しています。それらが処理されると、結果が通知されます。

問題は、このキューにはほとんどの場合、最初から多くのアイテムが含まれているということです。すべてをスレッドプールにダンプするのではなく、最初の N 個のアイテムのみをスレッドプールに配置し、それらが存在する場合はバックフィルを続けます。処理されます。これを行う理由は、それらをスレッドプールにダンプすると処理され、破棄としてタグ付けされていても、キュー時間がかかるためです。

私が作成したバックフィルの実装を使用すると、アイテムが破棄された場合にキューからアイテムを削除し、いわば自分の順番になったときにのみキューに入れることができます。

問題は、この数 N (スレッド プール キューに配置して保持するアイテムの数) をどのように計算するかということです。

私が検討した問題：

• すべてのプロセッサが機能していることを確認するために、2 * プロセッサの数をキューに入れたいと思うかもしれません。これは典型的なアイテム数です。
• ただし、一部のアイテムの実際の処理が超高速である場合 (発生する可能性があります)、自分のクラスがより多くの作業をバックフィルする前に、スレッドプールのキューが使い果たされます。プロセッサ
• 各アイテムにかかる現在の時間に基づいて最適な数を計算するための自動調整ルーチンを作成する必要があるため、それらがすべて超高速である場合、数ははるかに高くなり、処理に少し時間がかかる場合はそのままになります。低い？

どう思いますか？

New : わかりました。回答の 1 つにより、もう少し説明します。キューに入れられるすべてのアイテムは、一意のものによってキーが付けられます。既存のアイテムと同じキーを持つ別のアイテムをキューにダンプすると、その古いアイテムは「破棄」と見なされ、削除する必要があります。アイテムが処理中の場合、ワークロード アイテムのプロパティが true に設定されます。これは、処理メソッドが呼び出す「IsDicarded」プロパティです。破棄されたアイテムを検出した場合は、結果を返さずに早期に終了する必要があります。

おそらく、もう少し実験して、すべてをスレッドプールにダンプする必要があります。

新しい質問: キューに入れることができるアイテムの数に制限はありますか? そうでない場合、これは私のクラスを簡単に簡素化します。

注: 「処理が長い」とは、1 ～ 10 秒程度のことです。スレッドプールはこれに最適ですか? 「処理は速くあるべきだ」というメモを Web のいたるところで見かけますが、「速い」とは何かについては言及されていません。ここはミリ秒単位で速いですか？

皆さん、サーバーで一定のワークロードを生成したいので、ノードで一定量の CPU を使用します。スクリプトでこれを実行しようとしましたが、これは、webapp のホームページをループ 'n' 回で繰り返しフェッチすることによって行われました。ただし、これは一定のワークロードを生成するのではなく、ワークロードは継続的に変化します.何らかのスクリプトを記述して、wget を使用して一定のワークロードを生成する方法はありますか? 「wget」を使用してどのようなスクリプトを作成できますか?

ご協力いただきありがとうございます！！

私は現在、Hadoopの単語数アプリケーションをベンチマークとして使用しています。CPU使用率は、80〜90％前後でほぼ一定であることがわかりました。CPU使用率を変動させたいのですが。この機能を提供できるHadoopアプリケーションはありますか？どうもありがとう。

R.

私が達成しようとしていること：

• 互いに独立した複数の R 関数をリモート フロント エンドから実行する
• R バックエンドとして 2 つのデュアルコア サーバーを利用する

知っています：

• 各関数は通常 10 ～ 30 秒で処理されます
• 平均して 5 分ごとに (同時に実行することもできます)、実行される 8 ～ 15 個の関数のセットがバックエンドに送信されます (処理のためにキューに入れられます: 先入れ先出し)。5分は平均で、数セット同時に送信することもできます
• 2x2 R インスタンスは既に実行されており、必要なパッケージがロードされています。パッケージは常に同じであるため、常に再ロードする必要はありません。
• 転送されるデータの入力量が非常に少ない: 最大 50k

ここにはコードの並列化の主題はありません (snow、snowfall foreach、condor、およびその他の従来のクラスター ソリューション)。

役立つR用に設計された優れたパッケージ/ツールを知っていますか?

どうもありがとう ！

事前定義された CPU、ディスク、およびネットワークの使用率でワークロードを生成する Linux ツールを探しています。たとえば、Ubuntu ワークステーションで 1 分間、CPU 使用率を 55%、ディスク使用率を 30% に保つ必要があります。CPU、ディスク、ネットのワークロードを生成するツールはありますか?

ps 上記のすべての機能を実行する 1 つのツールを用意することをお勧めします。ただし、CPU、ディスク、ネット用に別のツールがある場合は、リンクを共有していただければ幸いです。

2つの引数を取るように、サーバー上のワークロードをシミュレートするプログラム（perl、python、またはjava）を作成する必要があります。

1. メモリー

2. 時間

そして、これらの引数に基づいて、指定された時間、指定された量のメモリを消費するプロセスを開始する必要があります。メモリの最大値は最大50〜100 GB、時間は最大12〜24時間です。

フォークまたはマルチスレッドを使用できません。このプロセスはシングルスレッドであり、操作（整数/浮動小数点など）を継続的に実行する必要があります。I/O操作もしたくありません。

私が考えることができる最も簡単な方法は次のとおりです。

これを行うためのより良い方法があるかどうか私に知らせてください。

ありがとう、

アミット

この質問は、 Count days per yearのフォローアップです。

私は巨大なdata.frameでDirkが提案したことをしました。私のコマンドは次のようになります。

現在、これらのコマンドは私の 8 GB の RAM と 2 GB のスワップ領域をいっぱいにします。その間、私のプロセッサはおそらく 15% のプロセッサ負荷で退屈しています。

その上、私のコンピューターが私の「欲求」を満たすには何年もかかります。作業の一部を CPU に移して、RAM の負担を少し軽減できますか?

Autosys（別名：CA Workload Automation）コンポーネントをジョブ/ボックス間の依存関係を示す図として表示するためのツールはありますか？依存関係グラフについて聞いたことがありますが、ジョブの実行ステータスが表示されていないようです。他のツール、CAまたはサードパーティはありますか？

アンドリューありがとう