問題タブ [out-of-memory]

ローカル ネットワーク上の複数のマシンで実行される Postgresql 8.3 を使用して Python でアプリケーションを作成しています。

すべてのマシン

1）データベースサーバーから膨大な量のデータをフェッチし（データベースがマシンから2秒で100の異なるクエリを取得するとします）、それを実行しているマシンは約10台または11台です。

2) データを処理した後、マシンは特定のテーブルを更新する必要があります (マシンごとに 1.5 秒あたり約 3 または 4 回の更新/挿入クエリ)。

私が気付いたのは、サーバーがプロセスを異常終了させたり、サーバー マシンをフリーズさせたり (ハード リセットが必要) したりして、データベースが何度かダウンすることです。

ちなみに、すべてのマシンは常にデータベースへの一定の接続を維持しています。つまり、Psycopg2 (Python で) を使用して接続が確立されると、処理が終了するまで (数時間続く可能性があります) アクティブなままになります。

アプリケーションで多数の接続を処理するための最良/最適な方法は何ですか?各クエリの後に破棄する必要がありますか?

次に、 max_connections を増やす必要がありますか?

この件に関するアドバイスをいただければ幸いです。

私はHibernateエンティティを持っています：

私のVMは512MBの最大ヒープサイズで構成されています。75 MBの大きなオブジェクトを持つオブジェクトを永続化しようとすると、OutOfMemoryErrorが発生します。

スタックトレースのメソッドの名前（StringBuilder、ByteArrayBlobType.toLoggableString、pretty.Printer.toString）は、hibernateがオブジェクトを含む非常に大きなログメッセージを書き込もうとしていることを示しています。

hibernateが大量のメモリを使用している理由について正しいですか？この問題を回避する最も簡単な方法は何ですか？

C# アプリケーションの「メモリ リーク」の原因を突き止めようとしています。imageこのアプリケーションは、SQL Server の列の種類を使用して、多数の潜在的に大きなファイルをデータベースのレコードにコピーします。LinqToSqlすべてのデータベース アクセスに および関連オブジェクトを使用しています。

メイン ループは、ファイルと挿入のリストを反復処理します。多くのボイラープレートとエラー処理を削除すると、次のようになります。

入力全体に対してこのプログラムを実行すると、最終的にOutOfMemoryException. CLR Profiler は、ヒープの 99% がbyte[]、ファイルのサイズに対応する大き​​なオブジェクトで構成されていることを示しています。

行 A と行 B の両方にコメントすると、このリークはなくなります。A 行だけコメントを外すと、リークが再発します。dcループの繰り返しごとに破棄されるため 、これがどのように可能かわかりません。

誰もこれに遭遇したことがありますか？ストアド プロシージャを直接呼び出すか、挿入を行うことでこのリークを回避できると思いますが、他のことを試す前にこれを理解したいと思います。何が起こっている？

アップデート

行 (B) の後に含めGC.Collect();ても、どのような場合にも大きな変化はないようです。CLR プロファイラーは、明示的にそれらを誘発することなく、かなりの数の GC イベントを示していたので、これはあまり驚くことではありません。

パッケージ内のすべての単体テストをロードすると、make タスクが java.lang.OutOfMemoryError: Java ヒープ スペース エラーをスローします。

ただし、各サブパッケージですべてのテストを実行すると、すべてのテストが読み込まれ、問題なく完了します。OOM エラーが発生するのは、親パッケージですべてのテストを実行しようとしたときだけです。

この問題は、VM パラメーターを調整することによって解決されるべきではないと思います。最大ヒープと perm サイズを増やしてみましたが、問題は解決しませんでした。

これにより、異なるパッケージでテストをロードする間にガベージ コレクションに問題があるか、あまりにも熱心なクラスのロードが行われていると思われます。

これらの問題を処理できる JUnit 設定はありますか、それともテスト ケースのコードを変更または追加することで問題を解決する必要がありますか?

war を何度も再展開すると、jboss がjava.lang.OutOfMemoryError: PermGen space error を返すことがあります。そうであれば、自動的に jboss を再起動しますか?

大きな XML ファイルの内容を System.out に出力するプロセスがあります。

この出力がきれいに印刷されている場合 (つまり、複数行)、すべてが機能します。しかし、それが 1 行にある場合、Eclipse は OutOfMemory エラーでクラッシュします。これを防ぐ方法はありますか？

大きなデータ フレームを扱っていて、RAM の制限に達しました。この時点で、おそらくディスク上のシリアル化されたバージョンで作業する必要があります。メモリ不足操作をサポートするパッケージがいくつかありますが、どれが私のニーズに合っているかわかりません。すべてをデータ フレームに保持したいので、ffパッケージは有望に見えますが、回避できない互換性の問題がまだ残っています。

データがメモリ不足の規模に達したことに気付いたときに、最初に使用するツールは何ですか?

Sun のサイトの Out Of Memory ヘルプを使用しました。と引用されているところ

メモリ不足: 要求された配列サイズが VM の制限を超えています

これは、アプリケーションがヒープ サイズより大きい配列を割り当てようとしたことを示します。たとえば、アプリケーションが 512MB の配列を割り当てようとしたが、最大ヒープ サイズが 256MB である場合、このエラーがスローされます。ほとんどの場合、問題は、ヒープ サイズが小さすぎるか、バグにより、アプリケーションが誤って巨大であると計算されたサイズの配列を作成しようとすることのいずれかである可能性があります。

これをシミュレートしようとしました

私のマシンで

しかし、上記の行は生産しています

私は何が欠けていますか？

更新： 私のJavaバージョンは

Java Webアプリケーションにjava.lang.OutOfMemoryError：Javaヒープスペース例外を引き起こすスレッドがありますが、try/catchブロックがエラーをキャッチしません。

サンプルコード：

出力：

バックグラウンド：

私は最近このJavaプロジェクトを引き継ぎ、Javaとこのプロジェクトに慣れるつもりです。私はC＃開発者なので、このプロジェクトやJavaにはまだ慣れていません。-Xmx設定を使用してエラーを修正できることはわかっていますが、ログに記録できるように、このエラーをキャッチすることに関心があります。エラーはどのログファイルにも表示されず、出力はEclipseのデバッグモードでコンソールに表示されます。

「mvn install」でオープンソースプロジェクトをコンパイルしていますが、java.lang.OutOfMemoryError: Java heap space. 実行しようとしましjava -Xmx256mたが、無効なコマンドであることを示す java synopsis が出力されました。

を使用してjdk1.5.0_08いますが、なぜこれが起こっているのでしょうか?

ありがとう、