問題タブ [csv-import]

SQL サーバー テーブルに直接インポートする CSV ファイルがあります。CSV ファイルでは、各列はカンマで区切られています。しかし、私の問題は、「住所」という列があり、この列のデータにコンマが含まれていることです。そのため、アドレス列のデータの一部が他の列に送られ、SQL サーバーにインポートされます。

私は何をすべきか？

C#.net で csv から SQL Server 2008 に 65545 行を挿入したいのですが、プログラムでデータを再配置する必要があります。

これらの行を SQL Server、SQLBulkOperations に挿入する方法、またはトランザクションを使用して行ごとに挿入する方法、または複数の挿入を使用する方法はどれが最適ですか。

私は現在、CSV ファイルを見て、含まれている情報を取得し、(スクリプトで定義されたいくつかの値と共に) AD ユーザー属性を入力する powershell スクリプトに取り組んでいます。

もともとこれは機能していましたが、定義済みの値はすべて CSV ファイル (Excel スプレッドシートから変換されたもの) に含まれていましたが、数式は行ごとに保持されませんでした。

そのため、それらをスクリプトに移動しましたが、次の入力を待っているかのように一時停止します。

CSV ファイルに現在含まれている内容は次のとおりです。

FirstName,LastName,Department,Title,PhoneNumber
Joe,Schmoe,Support,Someone of Something,###-###-####

ここにインポートスクリプトがあります

Import-CSV $newHire | ForEach-Object -process {new-QADUser -ParentContainer $OU -Name = $_.FirstName $_.LastName -FirstName $_.FirstName -LastName $_.LastName -DisplayName = $_.FirstName $_.LastName -SamAccountName = $_.FirstName'.'$_.LastName -UserPrincipalName = _.FirstName'.'$_.LastName'@domain.com' -Email = _.FirstName'.'$_.LastName'@emaildomain.com' -LogonScript logon.bat -Department $_.Department -Title $_.Title -PhoneNumber $_.PhoneNumber -UserPassword p@55w0rd -Company "CompanyName"}

$OU と $newHire の変数は正しく機能しており、ユーザー アカウントからアクセスできる共有フォルダーに含まれています。

どんな援助でも大歓迎です！

Postgres テーブルにインポートしようとしている非常に大きな (数百 MB) CSV ファイルがあります。主キー違反 (CSV ファイルの重複レコード) がある場合に問題が発生します。

1 つである場合、それらのレコードを手動で除外できますが、これらのファイルは、1 時間ごとにそのようなデータを生成するプログラムによって生成されます。私のスクリプトは、それをデータベースに自動的にインポートする必要があります。

私の質問は: COPY コマンドまたは Postgres でフラグを設定して、重複レコードをスキップし、ファイルをテーブルにインポートし続けることができる方法はありますか?

ここで指定された基準によると: http://en.wikipedia.org/wiki/Comma-separated_values

およびMS Excelから生成されたCSVファイル。この場合、phpでCSVファイルをどのようにインポートできるのでしょうか。

• 通常、CSV セルはダブル クォーテーション (") で囲まれませんが、セル値にカンマ (,)、ダブル クォーテーション (")、または改行文字 (\n) がある場合は、CSV セルが囲まれます。

• セル内の二重引用符は、2 つの二重引用符 (" => "") に置き換えられます。

• 例 testCell 1,"test,コンマ セル 2","testCell ""二重引用符"" 3",testCell 4

さて、問題は、セルが二重引用符で囲まれている場合とそうでない場合があるため、そのようなCSVを読み取っているときに各セルをどのように識別/分離できるかです。

新しい単純な製品が（CSV経由または手動で）追加される場合、適切な構成可能な製品が追加されているかどうかを確認する必要があります（SKU = "item_number-item_colour_code"、例：BLEA2606B-BK001）。構成可能な製品が存在する場合は、単純な製品を関連付けます。構成可能な製品が存在しない場合は、単純な製品のデータを使用して作成し、単純な製品を関連付けます。ここからいくつかの助けを見つけましたが、構成可能な製品がすでに存在するかどうかを確認する方法と、存在しない場合は作成する方法がわかりません。

これが私がダウンロードしたスクリプトファイルです。これが私のシナリオでうまくいくかどうか誰かがアドバイスできますか？

編集済み

インポート時に構成可能な製品を作成するというアイデアをかき集めました。現在、catalog_product_save_afterイベントをキャプチャして実行しています。うまくいけば、それは私をどこかに連れて行くでしょう。

編集2

OK、最後に、私はそれを機能させています。私はオブザーバーでそれをやっています。製品の保存プロセスが遅くなることは知っていますが、他の方法は考えられませんでした。それは私がやっていることです：

製品の手動保存/更新およびcsvのインポートですべて正常に機能します（低速ですが機能します）。唯一のことは、構成可能な製品では、「属性名」フィールドが空であるということです。そこで属性名を設定する方法は？

GeoLiteCountryMaxmind から CSV ファイルをダウンロードしました - http://www.maxmind.com/app/geolitecountry。標準として与えられた形式を使用して（これが自動化されたタスクになるように）、すべてのデータをテーブルにインポートしようとしています。

IPCountries2提供された列と正確に一致する列を持つ新しいテーブルを作成しました。

見つけたさまざまなコードのチャンクを使用して、フィールド ターミネーターと行ターミネーターを使用して動作させることができませんでした。

この結果、単一の行が挿入されました。最後の行が次の行でオーバーフローしたことを除いて、すべて正しいです (制限がなければ、おそらくデータベース全体)。また、最初のセルの先頭に引用符がありました。

私は周りを見回して、フォーマットファイルと呼ばれるものを見つけました（これらを使用したことはありません）。次のようなものを作りました：

しかし、bigint行でのこのエラー:

メッセージ 4867、レベル 16、状態 1、行 1
行 1、列 3 (BeginNum) の一括読み込みデータ変換エラー (オーバーフロー)。

それを 10 回実行し、最大エラー数のために停止します。

最初の方法をExcelに取り込んで再保存すると、最初の方法が機能するようになりました。これにより、引用符が削除されました。ただし、これを毎週自動的に更新し、手動で開いて再保存する必要がないため、この方法に依存したくありません。

クリーンなファイルで動作する限り、2 つの方法のどちらを最終的に使用してもかまいません。ドキュメントを見てみましたが、PHP または MS Access のコードしかありません。

編集

CSV ファイルの一部の行:

アップデート

しばらく粘った後、元の方法で（フォーマットドキュメントなしで）95％動作させることができました。ただし、次のように少し変更されました。

すべてが適切なフィールドに正しく配置されます。唯一の問題は、最初の列の最初に引用があることです。いくつかのサンプルデータ:

LOAD DATA INFILEMySQL を呼び出して CSV ファイルからデータをロードする PHP スクリプトがあります。ただし、本番サーバーでは、次のエラーが発生しました。

ユーザー ... のアクセスが拒否されました (パスワードを使用: はい)

簡単な回避策として、動作するコマンドを変更しLOAD DATA LOCAL INFILEました。ただし、クライアントのサーバーで同じコマンドが失敗し、次のメッセージが表示されました。

使用されたコマンドは、この MySQL バージョンでは許可されていません

これはサーバー変数と関係があると思います:ここでlocal_infile = off説明されているように.

サーバー設定の変更を伴わない回避策を提案してください。同じサーバーにインストールされた phpMyAdmin ユーティリティは、CSV ファイルを受け入れるように見えることに注意してくださいLOAD DATA (LOCAL) INFILE。

現在、（CSVファイルから）約10000行を既存のテーブルにインポートしようとしています。

インポートしようとしている列は1つだけですが、テーブルに別の列がTypeIdあり、静的な値に設定する必要があります99E05902-1F68-4B1A-BC66-A143BFF19E37。

だから私は次のようなものが必要です

どんな例でも素晴らしいでしょう。

ありがとう

Customer.php ファイル ( import/export ) を変更して、CSV ファイルから顧客をインポートするときに新しいアカウントの詳細を自動的に送信できるようにしようとしています。

新しい行ごとに呼び出された (メールを受信した) 単純な mail() 呼び出しを削除したので、適切な領域で作業しています。問題は、新しいランダム パスワードを生成して新しいアカウントの詳細を送信しようとしたときに発生します。メールはまったく送信されず、理由もわかりません。コードは次のとおりです（ app/code/local/Mage/ImportExport/Model/Import/Entity/Customer.php から編集）