問題タブ [csv-import]

こんにちは、共通の列または主キーに基づいて、2 つの CSV ファイルの特定のフィールドをマージして、新しい CSV ファイルを作成しようとしています。私はpowershellで同じことを試みましたが、うまくいきましたが、プロセスを完了するのが非常に遅かったです.5000行以上のファイルをマージするのに30分以上かかるので、Pythonで試してみてください. 私は新しいので、私に優しくしてください。

したがって、2 つのファイルは infile.csv と checkfile.csv であり、作成される出力ファイルの列は infile.csv の列に基づいています。このコードは、checkfile.csv の値をチェックし、outfile.csv を作成し、infile.csv から列をコピーし、checkfile.com の対応する値に基づいて 2 つのフィールドの値を書き換える必要があります。詳細は以下のとおりです

infile.csv -

チェックファイル.csv

私が取得しているoutfile.csvは -

しかし、必要な outfile.csv は -

最後にコード -

nameと の 2 つの列を持つ CSV をインポートしていますboro。

開発でインポートを実行すると、正常に動作します。しかし、Heroku で本番環境で実行すると、次のエラーが発生します。

これは私のmodels/neighborhood、またはむしろエラーで言及されている行です:

これは私のcontrollers/neighborhood#importです：

これは、両方のモデル間の関連付けです。

Neighborhood belongs_to :boro Boro has_many :neighborhoods

これは近隣のスキーマです。

これは、Boro のスキーマです。

考え？

最近オープンソースのdjango-import-exportを使用して、管理者を介して一部のデータをインポートしようとしていますが、カスタムの日付形式を選択する必要がありました。

それは動作しますが、それを行うための問題/より良い方法はありますか？

admin.py：

複数のインデックスを使用pandas.read_csvして列をフィルタリングすると、正しく入力されないcsvファイルがあります。usecols

ダミー列が欠落していることを除いて、df1とdf2は同じである必要がありますが、列のラベルが間違っています。また、日付は日付として解析されています。

名前の代わりに列番号を使用すると、同じ問題が発生します。read_csvステップの後にダミー列を削除することで問題を回避できますが、何が問題になっているのかを理解しようとしています。私はパンダ0.10.1を使用しています。

編集：不正なヘッダーの使用法を修正しました。

そこで、Excel のテキストから外部データを取得する関数を使用します。

私がインポートしているファイルはこれです。

ファイルを開くダイアログにURLを貼り付けるだけで、問題なく動作します。次に、インポートウィザードを実行すると、すべて問題ありません。終了を押すと、Excel がデータをインポートします。

問題は日付列にあります：

私のExcelファイルで得られる結果は次のとおりです。

26.09.2005 => ノルウェー語の形式に正しく変換されました

03/Oct/05 => 変換はまったく行われません

Excel ファイルで正しい日付に変換されません。DMYインポートウィザードで選択しました。しかし、地域設定がノルウェー語に設定されている私のコンピューターは、「10 月」を 10 月の略、または 10 番目の月として認識しないようです。

ノルウェー語では 10 月を「オクトーバー」と呼び、短縮して「oct」ではなく「okt」と呼びます。インポートは、ノルウェー語と同じ短い形式を持つ月の日付に対して正常に機能します。つまり、1 月、2 月、3 月、4 月、6 月、7 月、8 月、9 月、11 月です。

10 月 12 月の数か月間、この問題が発生する可能性があります。英語からノルウェー語への短縮版は、may=>mai、oct=>okt、dec=>des です。

「「Oct」が表示されたら、それを「Okt」と考えて自分のことをする」ことをExcelに伝える方法はありますか?

csv ファイルをデータベースに自動的にインポートする Postgresql スクリプトがあります。スクリプトは重複レコードを検出して削除し、適切な upsert を実行できますが、それでもすべてに取り組むことはできません。基本的に、csv ファイルは他のシステムからエクスポートされ、ファイルの最初と最後に次のような追加情報が追加されます。

私がやりたいのは、これらの最初の行またはファイルの下部にある行をスキップすることです。PostgresqlでCOPYまたは別のルートを介してこれを行う方法はありますか? たとえば、Postgresql 経由でオペレーティング システムのコマンドを呼び出すことはできますか?

SSIS パッケージを使用して CSV ファイルをデータベース テーブルにインポートしたいと考えています。問題は、セルの値が空白/null の場合、CSV ファイルの末尾にコンマがないことです。

CSV ファイルの例:

理想的には、次のようにする必要があります。

SSIS フラット ファイル接続は、最後の列の {CR}{LF} のみをチェックします。SSISを使用してこのデータをインポートするための回避策を知っている人はいますか(つまり、手動の回避策なし)?

ありがとう。

SSMS (2012) を使用して、CSV、Excel データを SQL Server 2003 にインポートしようとして、何時間も費やしました。Excel、CSV、およびテキストファイルとしてインポートしようとしましたが、すべてのオプションで独自の問題が発生しました。

現在最大のフラストレーションは、フラットファイル オプションで CSV をインポートするときです。[詳細設定] タブで、ソースの日付列を [DT_DBTIMESTAMP] に設定しました。これは、インポート先の日付列のタイプ [DT_DBTIMESTAMP] と一致しますが、インポート SQL Server を実行するとエラーが発生し、次のように表示されます。

? エラー 0xc02020a1: データ フロー タスク 1: データ変換に失敗しました。列のデータ変換で、ステータス値 2 とステータス テキスト「データが失われる可能性があるため、値を変換できませんでした。」が返されました。(SQL Server インポートおよびエクスポート ウィザード)。

両方の列がまったく同じ型である場合、これはどのように失敗するのでしょうか?

助けてくれてありがとう。