問題タブ [sqlalchemy]

Python/SQLAlchemy アプリのプロファイリングの経験がある人はいますか? また、ボトルネックや設計上の欠陥を見つける最善の方法は何ですか?

データベース層が SQLAlchemy によって処理される Python アプリケーションがあります。このアプリケーションはバッチ設計を使用しているため、多数のデータベース リクエストが限られた時間内で順次実行されます。現在、実行に時間がかかりすぎるため、最適化が必要です。ORM 機能は使用せず、データベースは PostgreSQL です。

Nested Set Modelを使用して実装されたツリーに SQLAlchemy で新しいノードを追加するにはどうすればよいですか?

新しいノードを割り当てlft、rgt影響を受ける他のすべてのノードを更新するには、テーブルにトリガーが必要ですが、ノードの位置を定義する最良の方法は何ですか? 新しいノードの をコンストラクターに渡すことはできますが、それをトリガーにparent_id伝えるにはどうすればよいでしょうか?parent_id

mysqlデータベースにロードしたい均一な行がたくさんあるテキストファイルがありますが、ファイルは完全に均一ではありません。いくつかの雑多な情報のために最初にいくつかの行があり、6行ごとにタイムスタンプがあります。

私のファイル形式のため、「LOADDATAINFILE」はここでは答えのようには見えません。十分な柔軟性がないようです。

注：ファイルのヘッダーは、事前に決定された行数を占めます。タイムスタンプは予測可能ですが、無視する必要のあるポップアップする可能性のある他のランダムなメモがいくつかあります。それらは常に私がチェックできるいくつかのキーワードで始まります。

真ん中の私のファイルのサンプル：

これから、3つのフィールドに情報をロードする必要があります。最初のフィールドはファイル名である必要があり、他のフィールドは例に含まれています。各データ行の前にファイル名を追加することもできますが、スクリプトを使用してデータをロードする場合は、これは必要ない場合があります。

必要に応じてファイル形式を変更できますが、タイムスタンプとヘッダー情報を失いたくありません。

SQLAlchemyは、私がよく知っているpythonに適した選択肢のようです。

私は数千行のデータを持っているので、すでに持っているすべてのファイルのロードは最初は遅いかもしれませんが、その後、ファイルの新しい行をロードしたいだけです。したがって、重複する情報は必要ないため、ロードする内容を選択する必要があります。

テキストファイルからmysqlデータベースへの選択的なデータロード方法に関する提案はありますか？そしてそれを超えて、まだデータベースにないファイルの行にのみロードするために何を提案しますか？

皆さんありがとう。その間、SQLAlchemyをもう少し調べて、それでどこかに到達するかどうかを確認します。

SQLAlchemy を使用して MySQL データベースに対して実行するときに、クライアントからタイムアウトを制御する正しい方法は何ですか? connect_timeoutURL パラメータが不十分なようです。

データベースが実行されているマシンがネットワークから予期せず消えた場合などに、何が起こるかに興味があります。クエリ自体に時間がかかりすぎることは心配していません。

次のスクリプトは、ループに到達する前に一部のホストが利用できない場合に、予想されること (つまり、約 1 秒後にタイムアウト) を実行します。しかし、ループ中にホストがダウンした場合(たとえば、ループの開始後にネットワーク ケーブルを引っ張ってみてください)、タイムアウトには少なくとも 18 秒かかるようです。不足している追加の設定またはパラメーターはありますか?whilewhile

wait_timeoutサーバー側の変数だと思うので、セッション変数が機能しないことは驚くべきことではありません。でも念のために入れてみました。

session.add(object) を 2 回使用して 2 つの新しいオブジェクトを追加しようとしていますが、session.commit() で最初のオブジェクトが消えます...なぜそれが起こるのですか?

SQLAlchemy には、Django のシグナルの概念に似たものがありますか? 基本的に、いくつかのエンティティ オブジェクトを事前保存または事後保存するときに、いくつかの関数をトリガーしたいと考えています。ありがとう。

編集: SQLAlchemy の django-signals に相当するものが欲しいだけです。

タプルのリスト(可変サイズ)を持つクラスを持つエリキシルモデルを構築しようとしています。

一例はレシピです

私はこのようなことをすることができますが：

それには多くの欠点があります。1 つには、ドメインに関して意味のない成分リストのエンティティを作成するのは好きではありません。抽象化を楽しみます。

もう 1 つの問題は、この成分を使用してどのアイテムを準備できるかというクエリは、モデルに関係やフィールドを追加しないと非常に面倒になり、おそらく非効率になることです。

もう 1 つの例は、金種と数量のリストが記載された銀行預金伝票です。

そのようなモデルを設計する最良の方法は何ですか?