5

CPU を集中的に使用する Clojure コードを Intellij Idea 内から実行しています (それは重要ではないと思います - プロセスを生成するだけのようです)。htop と top の両方によると、ラップトップで 4 つのコア (2 つ + ハイパースレッディング) をすべて使用しています。これは、コードに明示的な並列処理がないにもかかわらずです。

もう少し詳細: top は ~380% の CPU 使用率を持つ単一のプロセスを示し、htop は「親」プロセスと 4 つの「子」プロセスを示し、それぞれが 1/4 の時間と ~100% の CPU を使用します。

これは正常ですか?それとも、どこかで何か非常に間違っているということですか? このコードには多くの遅延シーケンスが含まれていますが、その核心は変更可能なデータ構造 (Clojure のデータ構造ではなく変更可能なデータ構造であり、結果を蓄積するハッシュ) を変更します。 明示的な並列処理は使用していません。

かなりの時間が JCA/JCE (crypto lib) に費やされる可能性があります (私はプロファイリングしていません) - CTR モードで複数の AES 暗号を使用しています。シーケンス。おそらくそれは並列化されていますか?

よりランダムなアイデア: これは IO に関連している可能性がありますか? 暗号化された SSD で実行していますが、このプログラムはディスクからデータを処理しているため、多くの読み取りが行われます。しかし、htop はシステム時間を赤で表示し、これらは緑です。

漠然とした質問で申し訳ありません。必要に応じて、さらに情報を投稿できます。これは 64 ビット Linux 上の Clojure 1.4 (JDK 1.7.0_05) です。実行中のコードはここにありますが、かなり厄介で (さらに申し訳ありません)、さまざまなファイルに分散しています (ほとんどの CPU 時間はnearest-in-dumpコードで費やされます)。注 - コードを実行して再現しようとして時間を無駄にしないでください。既存のデータダンプがディスク (git にはありません) にあることが想定されているためです。

debugger デバッガーで実行すると (ありがとう、AM) 4 つのスレッドが表示されます (デバッガーを正しく理解している場合) が、プログラムを実行しているのは 1 つだけです。それらは、ファイナライザー、メイン (プログラム)、参照ハンドラー、およびシグナル ディスパッチャーとラベル付けされています。ファイナライザー + ref ハンドラーは待機状態です。シグナル ディスパッチャに使用可能なフレームがありません。これは、おそらく暗号化の実装で、並列処理がより低いレベルにあることを意味していると暫定的に考えていますか?

あはは、それは並列 GC だと思います (Java には現在、並行コレクターがあります)。最初に、実際のプロセスが一時停止すると、CPU 使用率が急激に上昇します (通常のティックが出力されます)。そして、大量のデータを大量に処理しているため、有効期間の短いオブジェクトが多数生成されています (-XX:+UseSerialGC を使用して確認すると、CPU 使用率が 100% に減少します)。

4

1 に答える 1

4

OK、これはかなり明白に見えるので、これを投稿するのは少し馬鹿げていると思いますが、並列GCのようです。私は大量のデータを処理し(SSDからデータを吸い込み)、短命のオブジェクトを大量に生成しています。そして、JVMには並列GCがあるようです。http://blog.ragozin.info/2011/12/garbage-collection-in-hotspot-jvm.htmlを参照してください

問題の兆候かもしれません-JavaGCで何が起こっているのですか?PermGenスペースがいっぱいになっていますか?-これについては明日調査します(言及しませんでしたが、振り返ってみると必要ですが、これはメモリ不足の境界線です)。

更新:-XX:+ UseSerialGCを指定して実行すると、CPUの合計使用量が100%(つまり、1コア)に削減されます。しかし、上記の2つの説明が排他的であるという意味ではなく、構成やコードを改善することでGCの量を減らすことができたということだけです。

于 2012-07-07T02:32:34.913 に答える