問題タブ [large-query]

次のコードがあります。

実行時に完全に正常に動作します

しかし、失敗します

約200Kのレコードがあります。デバッガーは巧妙に catch ブロックを無視し、finally ブロックに直接進みます。stmt.executeQuery(query) を監視リストに追加すると、NetBeans から次のスタック フレームが返されました。

このフレームワークで大規模なクエリを実行するにはどうすればよいですか?

編集: J コネクタと mysql サーバー 5.1 を使用しています。接続文字列は

はい、 select * が悪い習慣であることは知っていますが、ご覧のとおり、私はまだ始めたばかりで、これは多かれ少なかれ私が行っている 2 番目のテストです。

SQL 2005 サーバーに巨大なクエリがあります。これは毎日 1 回実行する必要がありますが、このクエリを実行すると一時データベースが 2GB から 48GB に増加します。このクエリが単一のテーブルで (~120 列) の 80K レコードを追加/更新するときに tempdb が成長している理由を最適化または見つける最善の方法は何ですか?

tempdb がそれほど大きくならないこのクエリに対して、どうすればよいでしょうか?

任意の提案をいただければ幸いです。

注: このクエリには、temptables、テーブル変数、または CTE はありません。ただの束

アプリケーションの性質上、データベースへの大量のデータの高速挿入をサポートする必要があります。executemany() を使用するとパフォーマンスが向上しますが、注意点があります。たとえば、MySQL には max_allowed_pa​​cket という構成パラメーターがあり、挿入クエリの合計サイズがその値を超えると、MySQL はエラーをスローします。

質問 #1 : SQLAlchemy にパケットをいくつかの小さなパケットに分割するように指示する方法はありますか?
質問 #2 : 他の RDBS にも同様の制約がある場合、それらを回避するにはどうすればよいですか?



PS以前にこの質問を投稿しましたが、結局この問題に遭遇しない可能性が高いと誤って想定したため、削除しました。残念ながら、そうではありません。

私は、X 日前のレポートを基本的にオンザフライで再構築する、クライアント用のレポート ツールを使用している最中です。

問題は、レポートが PHP で再構築されていることです。一部のレポートは非​​常に大きく、読み込み時間が 20 ～ 40 秒かかる場合があります。

現時点では、クエリの実行中にページがハングするだけです。

私がやりたいのは、クエリが開始される前に何らかの jquery 読み込みオーバーレイをページに配置し、クエリが終了すると別のページ (結果が表示される場所) にリダイレクトすることです。

クエリを実行する前にhtmlをページにロードする限り、ロード画面が表示され、クエリが終了したら、別のHTMLを配置して別のページにメタリフレッシュを行うことができると考えているのは正しいですか? （ヘッダーはすでに送信されているため、明らかにヘッダーのリダイレクトは問題外です）。

これが正しければ、jquery ベースのローディング プラグインを推奨する人はいますか?

どうもありがとう

大きなクエリを実行しようとすると、このエラーが発生しました。

setAutoCommit(false)およびsetFetchSizeメソッドを準備済みステートメントに適用すると、大きなクエリの処理に役立つ可能性があることがわかりました。ただし、使用すると、このエラーが発生しました。

大きなクエリを処理する適切で簡単な方法は何ですか?

setFetchSize を使用する適切な方法は何ですか?