問題タブ [bulk-load]

区切りテキスト ファイルに格納されているデータを SQLite データベースに一括ロードするために使用できるユーティリティに関するヒントはありますか?

スクリプトなどからスタンドアローンのプログラムとして呼び出せるものが理想です。

私が一緒に働いているグループには、大量のデータをファイルにダンプし、そのデータをモバイル デバイスで使用するために SQLite データベースにロードする Oracle データベースがあり、そのようなシナリオを実装する最も簡単な方法を探しています。

状況を整理させてください。適度な幅の MyISAM テーブルに適度な数の行 (1 日あたり約 10 ～ 20M) を挿入しようとしています。

その途方もない主キー以外の唯一のインデックスは、blah7、日付フィールドにあります。私たちは LOAD DATA INFILE を使用していますが、データのロードに約 2 時間かかるという、非常にひどいパフォーマンスだと思います。私は、LOAD DATA INFILE がそれより桁違いに速いと信じるようになりました。

興味深いことに、データをバッチ処理するために LOAD DATA INFILE も使用する脂肪の少ないテーブル (5 ～ 6 フィールド) があり、それらのテーブルのパフォーマンスが大幅に向上しています。レコードの数がかなり少ないため、大きなテーブルをロードするときにバッファ サイズの制限に達していて、ディスクに移動する必要があると思います (実際、ディスクに移動する以外に何が必要でしょうか)。そのような遅いロード時間を説明しますか?)。

...それが私の質問につながります。LOAD DATA INFILE コマンドを処理する際に最も重要な my.cnf 設定は何ですか?

こんにちは、Python で電話帳アプリケーションを作成し、それを Google アプリ エンジンに配置する方法を教えてください。私は、200 万のユーザー リストとその連絡先を電話帳に登録した巨大なデータベースを実行しています。サーバーから Google サーバーに直接すべてのデータをアップロードし、UI を使用して各ユーザーの名前に基づいて電話帳の連絡先を取得したいと考えています。

MS SQL サーバー 2005 を DB として使用しています。

このアプリケーションをまとめるのを手伝ってください。

ご意見をお待ちしております。

更新：データの形式を明確にするための例を追加しました。

各行が次のようにフォーマットされたCSVを検討します。

ここで、[tbl2.col1：tbl2.col2] +は、これらのペアがいくつでも繰り返される可能性があることを意味します

元：

テーブルは、上記の列に加えて作成する必要があるキーとして行番号を使用して相互に関連付けられます。

1. mysql load data infileデータを2つの別々のテーブルにロードするために使用する方法はありますか？
2. そうでない場合、これに最適なUnixコマンドラインツールはどれですか。

私は最初の大きなActionscript3Webサイトに取り組んでおり、最適な読み込みシーケンスを決定しようとしています。大規模なWebサイトではファイルサイズはそれほど問題ではなかったため、現在BulkLoaderを使用していますが、他のアプローチも確実に受け入れています。

進行状況を測定する外部アセット{1swf、1 cssファイル、複数の画像}を見つけようとしていますが、ロードされたXMLファイルに依存しているため、それらをグループ化/順序付けする方法を完全に理解できません。

特にサイト構造がXMLファイルから作成されている場合、AS3でのアセットのプログラム初期化とチェーンロードのベストプラクティスは何ですか？

まず第一に、サイト構造、ページID、コピー、および画像ファイル名（背景画像とページスライドショー）を含む単一のSWFとXMLファイルをロードしています。私は現在、XMLとCSSファイルを事前に一括ロードしてから、プログラム全体を生成しています。XMLから画像ファイル名を取得してロードする必要がありますが、これは実際には2つの部分からなるプロセスです。このバルクローディングのすべてに対して、どういうわけか単一のプリローダーを作成する方法はありますか？

初期化プロセスに関するいくつかの注意事項：タイムラインには1つのフレームがあり、ステージにはプリローダーのみが存在します。ページとその他の詳細（ナビゲーション、背景画像、スライドショーなど）はすべて、XMLの解析後に新しいオブジェクトとして追加/作成され、プリローダークリップを削除します。これは、すべてを前もってロードするときにプロセッサをいくらか集中的に使用する可能性がありますが、ユーザーがWebサイトをクリックするときに何度もプリロードする必要がなくなります。SWFAddressも実装するので、マスターするにはプリロードシーケンスが重要です。

Djangoのloaddata管理機能を使用して日付をDateFieldにロードできますか? アプリにデータを一括読み込みするために使用している JSON ファイルがあります。データをダンプすると、日付フィールドはyyyy-mm-ddの形式で出力されます。ただし、同じ形式でデータを再度ロードしようとすると、フィールドは文字列として扱われ、ロードは失敗します。

たとえば、models.DateField() 型のフィールド authorization_date があります。フィールドの値が「2001-12-14」の場合、次のエラーが発生します。

では、Django の loaddata を使用してどのように日付をロードできますか?

ここで説明されているように、appcfg.py を使用してデータを一括読み込みしようとしています。親エンティティを設定する以外は機能しましたが、インポートによって作成されるエンティティの親エンティティを設定する方法に関する情報が見つからないようです。正しい方向を教えてもらえますか、または私のbulkloader.Loader実装のコードスニペットを提供してもらえますか?

私はブラジル出身で、FATEC (ブラジルにある大学) で勉強しています。AppEngine について学習しようとしています。現在、MySQL から AppEngine に大規模なデータベースをロードしていくつかのクエリを実行しようとしていますが、その方法がわかりません。CSV ファイルでテストを行いましたが、MySQL から直接インポートする方法はありますか? このデータベースは Pentaho BI Server (www.pentaho.com) からのものです。ご清聴ありがとうございました。

よろしく、 内藤ダニエル

SDK 1.3.4 に追加された新しいバルクローダーは、スキーマを持つモデルに最適です。db.Expando (または大まかに定義されたスキーマ) を継承するモデルの場合、それらを一括アップロードするために何をしなければならないかを理解したいと思います。

ConnectorInterface を実装し、データを必要な python dict に変換するカスタム コネクタを定義しました。この dict を使用して、データ ストアにアップロードされるエンティティを定義するにはどうすればよいですか?

ドキュメントには、アップロードされたエンティティを返すために使用できる post_import_function があるようです。この関数の使用方法の例はありますか?

皆さん、大きなサイズの xml データ ファイル (サイズが 500 MB のものもある) を SQL 2008 にインポートする必要があります。同じために sqlxml 一括読み込みを使用する予定です。

ただし、すべての要素ではなく、xml データ ファイルの特定の要素にのみ関心があります。私の質問は次のとおりです。スキーマ ファイルでは、xml データ ファイルに存在するすべての要素に言及する必要がありますか、それとも読み込みに関心のある要素のみに言及する必要がありますか

2番目の質問は、xsd / xdrの知識がほとんどないため、sqlxmlバルクロード用のこれらのスキーマファイルの生成を自動化できるツールはありますか?

前もって感謝します