問題タブ [bulk-load]

SqlBulkCopy を使用してコンテンツを csv からデータベースにコピーすることについて話している記事をたくさん見ましたが、それらはすべてデータをデータ テーブルまたはデータ セットにロードする必要があります。

私は大量のデータを扱っており、強力なマシンを持っていないので、これは私には良くありません。

csv からデータベースにデータをストリーミングする方法はありますか?

ありがとう

LOAD DATA INFILE (http://dev.mysql.com/doc/refman/5.0/en/load-data.html) をサポートする node.js MySQL ドライバーはありますか? 一括挿入に大きく依存しているユーティリティがいくつかありますが、それをサポートすることを明示的に言及している node.js ドライバーが見つかりません。

次のコードを実行しています。

かなり大きな XML ファイルを SQL テーブルにロードしようとしていますが、「列 'LocID'、テーブル 'myDB.dbo.myTable' に値 NULL を挿入できません。列は null を許可していません。 INSERT は失敗します。」

「LocID」は私の主キーであり、ID フィールドです。NULLデータを移動するのではなくロードするだけで、XML ファイルに ID フィールドがないため、この列に挿入されないようにする方法はありますか?

NHibernateに子オブジェクトを自動的にフックさせるか、各親の遅延読み込みではなく子を一括読み込みするにはどうすればよいですか？

すべて同じタイプの親オブジェクトが多数あります。それぞれに2つの子オブジェクトのバッグがあります。すべての親オブジェクトと子オブジェクトをできるだけ早くロードする必要があるため、NHibernateを使用してすべてのオブジェクトをロードしてから、すべての子オブジェクトをループし、コードで関連する親に追加します。NHibernateにはこれを行うためのはるかに優れた方法があると確信していますが、それは何ですか？

私はテーブルを持っており、そこから約 250,000 レコードのレコードをフェッチしています。これには約 25 分かかります。フェッチ時間を短縮する方法はありますか。以下のようなコードを使用しています:-

それを最適化する方法はありますか？

インデックスに対する挿入/削除/検索のすべての操作を使用して、独自の b+tree インデックスを作成しました。巨大なデータセットの挿入を高速化するために、大量のデータセットを実験できるように一括読み込みも実装したいと考えています。

私がやろうとしているのは、データを並べ替えて、リーフ レベルでページを埋め始めることです。キーは、必要に応じて上位レベルでコピーまたはプッシュされます。私は常にさまざまな高さでインデックスのフロンティアを追跡しています。たとえば、インデックスの高さが 3 (ルート、内部ノードとリーフ レベルを含む 1 つのレベル) の場合、メモリに 3 ページのみを保持し、それらがいっぱいになるか、データがなくなると、それらをディスク。

問題は、個々のノードすべてのページ制限を維持するために各ページに書き込むデータの量です。これらの制限については、こちらを参照してください。一括読み込みの実装に関する詳細や、ノード制限を保証するために使用する充填率を決定するための優れた戦略を含む有用なリソースを見つけることができませんでした.

何か案は？

timestamp with no timezone dataタイプフィールドに値を挿入するクエリを作成しようとしています。値はCSVファイルから取得されます。

私が使用しているバージョンはPostgreSQL8.1.21です。

CSVファイルのアップロードはクライアントによって行われ、日付列があります。日付は、フォーマットとして'28-Sep-13'、場合によっては来ることがあり'28/09/2013'ます。

次を使用して、文字列をタイムスタンプにキャストしようとしました str_date::timestamp。

これは、のstr_dateような場合は正常に機能しますが、次のエラーが発生したときに'28-Sep-13'、受信日が次の形式の場合は機能しません。'28/09/2013'

基本的に、クライアントはアップロードされたCSVファイルの日付形式を変更し続けます。
実際の形式に応じて、日付文字列をタイムスタンプに変換する方法はありますか？

クラスター化されたインデックスと 2 つの非クラスター化インデックスを持つ巨大なテーブル (数十億行) があります。

BULK INSERT 操作は、112000 回の読み取りと 383 回の書き込みのみを生成します (期間 19948ms)。

とても混乱します。読み取りが書き込みを超えるのはなぜですか? どうすれば減らすことができますか？

更新クエリ

トリガーと外部キーなし DP_ID によるクラスタ インデックスと 2 つの一意でないインデックス (fillfactor=90% の場合)

もう 1 つの DB は RAID50 に格納され、ストライプ サイズは 256K です。

http://www.salesforce.com/us/developer/docs/api_asynch/で説明されている一括アップロードコードを使用しています。

唯一の違いは、カスタムオブジェクトタイプをアップロードしていることです。オブジェクトはSalesForceで定義されています。しかし、オブジェクト（Employeeという名前）を参照すると、「オブジェクトが見つかりません：Employee」というエラーが発生します。Employee_cも試してみました。同じ結果。

任意のポインタをいただければ幸いです

ありがとうございました

Sameer

http://www.salesforce.com/us/developer/docs/api_asynch/で説明されている一括アップロードコードを使用しています。

唯一の違いは、カスタムオブジェクトタイプをアップロードしていることです。Employee_cにアクセスできます。しかし今、私は別のエラーを受け取ります

stateMessage ='InvalidBatch：フィールド名が見つかりません：名'

名はcsvの最初の列です。

デバッグ中に、一時csvが正しく作成されていることがわかります。ただし、checkResultsを実行するとこのエラーが発生します。コードは、RESTを使用したバルクAPIのサンプルJavaコードとまったく同じです。

私はsalesforceの無料の開発者バージョンを使用しています。

カスタムオブジェクトの従業員に次の権限を付与した新しい権限セットを作成しました：読み取り/作成/編集/削除/すべて表示/すべて変更。すべてのフィールドに編集権限が付与されます。権限セットは、salesforceユーザーライセンスに関連付けられています。プログラマティックログインは、セールスフォースユーザーライセンスを持つシステム管理者プロファイルに関連付けられたユーザーを使用して行われます。

しかし、それでもエラーは解決しません！

任意のポインタをいただければ幸いです

ありがとう

Sameer