問題タブ [bulk-import]

これはよくある問題だと思いますが、探しているヘルプが正確に見つからないようです。申し訳ありません！

CSV ファイルから一括挿入を実行しようとしています。データを挿入する必要があるテーブルには、null にできないフィールドがnewid()いくつかあります。たとえば、通常は で生成される行の一意の識別子フィールドや、変更を行うユーザーのID番号など...

オンラインで調べてみると、CSV ファイルにテーブルと同じ数のフィールドが含まれている場合、または不足しているフィールドを null またはデフォルトのままにしても問題ない場合、基本的な一括インポートの方法を理解していると思いますが、見つけることができませんでした。 CSVファイルからいくつかの値を割り当てる方法と、他の必要なテーブル値を事前定義する方法を教えてくれる場所。ストアド プロシージャ内の変数から不足しているフィールドを割り当てることができる CSV からインポートする方法を誰かが教えてくれれば、非常に役に立ちます。

任意のヒント？これを実現するために使用しようとしているコードは次のとおりです。

データを含む大きなXMLドキュメント（〜10 mb）があります。このXMLを解析し、データベースを調べて更新する必要があります。3つのケースがあります：

• 前回から新しいデータがXMLに存在します-それをDBに挿入します
• アイテムが変更されました-DBで更新してください
• アイテムは前回からXMLから削除されています-DBで無効としてマークしてください

前回XMLをチェックしてからアイテムのデータが変更されていない場合は、何もしません。XMLの各アイテムには独自のIDがあるため、データベースから簡単に取得できます。

ただし、このようなアイテムを反復処理するのは非常に時間がかかりますが、データベースのリレーショナルな側面が必要です（XMLはユーザーが購入できるアイテムを表すため、アイテムの新しいIDを生成して、それらを一括ロードすることはできません）。

XMLをループして各アイテムを個別に検索するのは非常に遅いため、これを実装するための最良の方法は何でしょうか。

これは、PHPを使用してMySQLデータベースに組み込まれます。

==編集==

このプロセスの基本的なループは次のとおりです。

スクリプトが非常に遅い理由は、XMLのエントリごとにオブジェクトがすでに存在するかどうかを確認する必要があるため、LOADDATAINFILEのようなバルク操作を使用できないためです。

したがって、既存のデータとの参照整合性を維持しながらデータを一括ロードできる別のアプローチを誰かが提案できるかどうか、本当に疑問に思っています。

散発的なテキスト修飾子を持つフィールドを持つ csv ファイルがあります (一部のフィールド情報の値にカンマが含まれているため)

フォーマット ファイルを使用できることはわかっていますが、フォーマット ファイルは断続的なテキスト修飾子を処理できますか?

これが例です

テキスト修飾されたフィールドは任意のフィールドである可能性があることに注意してください

Magento マルチストア構成のストアにバルク製品をインポートする際にサポートが必要です。製品には、名前、画像、カテゴリ、説明、カスタム オプション (固定価格のサイズ) が必要です。csv を作成し、製品を正常にアップロードできましたが、価格とともにサイズが表示されませんでした。また、画像はフロントエンドに表示されませんでした。media/import にアップロードし、3 つの csv 列で編集しました。また、文字システムの下に直接作成しました。たとえば、画像名が ab で始まる場合、ディレクトリ a/b/image.jpg を作成し、それらを csv の 3 つの領域に配置します。どんな助けでも大歓迎です。

二重引用符を含むデータを含むテキスト ファイルをインポートする必要があります。実際に、aix コマンドとその説明を含むテキスト ファイルを作成しました。

コマンドに二重引用符が含まれるようになりました。そのため、バルク データを SQL Server 2005 にインポートする通常の方法を使用すると、エラーが発生します。

私のテキストファイルは次のようなものです:

このデータを SQL Server 2005 にそのままインポートする方法を教えてもらえますか?

データを解析してSQL Server 2012データベースにインポートしたい一連のxmlファイルがあります。提供された xml ファイルは、スキーマに対して検証されます。

これを行うための最良の方法は何かを探しています。私はこれを見つけました: http://msdn.microsoft.com/en-us/library/ms171878.aspx

これが最善の方法なのか、それとも他の方法があるのか​​ 疑問に思っていますか？

.csv ファイルを SQL テーブルにインポートする際に奇妙な問題があります。.csv からの一括インポートではエラーは発生せず、正常に完了しますが、データは SQL テーブルにインポートされません。.csv にデータがあります

ただし、Excel で .csv を開いて .csv として再度保存すると、一括インポートを試行し、テーブルとデータがそこにあることを確認します。

それが何であるかについてのアイデアはありますか？エンコーディングの問題がある場合は、インポートする前に.csvファイルのエンコーディングを確認するか、SQLに強制的にインポートさせるにはどうすればよいですか。

ありがとう。

これは私のSQLです

SQLを実行すると、このエラーが発生しました

メッセージ4866、レベル16、状態1、行1
バルクロードが失敗しました。

行1、列1のデータファイルの列が長すぎます。フィールドターミネータと行ターミネータが正しく指定されていることを確認してください。

メッセージ7399、レベル16、状態1、行1
リンクサーバー "（null）"のOLEDBプロバイダー"BULK"がエラーを報告しました。プロバイダーはエラーに関する情報を提供しませんでした。

メッセージ7330、レベル16、状態2、行1
リンクサーバー "（null）"のOLEDBプロバイダー"BULK"から行をフェッチできません。

私を助けてください。私はすでに多くの方法を試しましたが、それでも同じエラーが発生します。

CSV データを Drupal 7 に一括インポートしたいと考えています。シナリオは次のとおりです。

• 3 つのエンティティを組み合わせて 4 番目のエンティティを形成しています。
• この CSV インポートで CRUD 操作を実行する必要があります。

このプロセスは時間の経過とともに遅くなります。CSV には約 18000 のレコードがあり、この数は今後増える可能性があります。

どうすればパフォーマンスを向上させることができますか?