問題タブ [fastercsv]

アップロードされたファイルをモデルにインポートするために FasterCSV を使用していますが、小さなファイルにはうまく機能しています。ただし、大規模なデータセット (21,000 行) をインポートしようとすると、時間がかかり、ライブ サーバーでブラウザーのタイムアウトが発生します。

これは私の現在の作業コードです:

バックグラウンド プロセスを使用したいのですが、ユーザーは、システムの次のステップに進む前に、インポートされた行数を確認する必要があります。

そのため、アクション チャンクを使用してより少ない行数のみを読み取り、カウンターを設定し、何らかの進行状況でビューを更新してから、前のカウンターを開始点として使用してメソッドを再度実行する必要があると考えていました。

FasterCSV に設定された行数だけを読み取らせ、開始点のオフセットを設定する方法がわかりません。

誰もこれを行う方法を知っていますか? または、これを処理するより良い方法はありますか?

各行を解析するのではなく、各列をマルチ配列に配置するように、fasterscsv セットアップを取得しようとしています。

これは私が現在持っているものです：

どんな助けでも大歓迎です。

FasterCSV を使用して一部のデータをテキスト ファイルに出力しようとすると、連結された文字列に引用符が追加される場合と追加されない場合があります。

例えば：

company_code と company_name はどちらも文字列で、データが含まれていますが、出力には次のように表示されます。

FasterCSVのドキュメントで引用を強制する方法を見つけましたが、正反対のものが必要で、両方の文字列である場合に一方の行を引用し、もう一方の行を引用しない理由がわかりません...

誰かが解決策を持っている場合、私はリードに深く感謝します:)

ありがとう

私がやろうとしているのは、データを csv にエクスポートすることです。

ユーザーが（ドロップダウンメニューから）フォーマットを選択できるフォームがあります。したがって、フォーマットの選択に基づいて、ajax 呼び出しを使用して出力が表示されます。HTMLでは問題なく動作しますが、形式をcsvとして選択すると、画面にポップアップが表示されず（ファイルを保存または開くように求められます）、ファイルが直接ダウンロードされることもありません。

Fastercsv を使用してみました (ただし、ファイルを保存するか開くかを尋ねるポップアップが表示されないことが問題です) および CSV::Writer を使用すると、コンソールにこのエラー メッセージが表示されます。

Fastercsv を使用したコード:

これが私がデータを送信する方法です：

firebug コンソールに「some text, text 2, text 3」という応答が表示されますが、ファイルを保存するか開くかを尋ねるポップアップは表示されません。

これは私が CSV::Writer を使用して行っていることです:

そしてそれを次のように呼び出します：

これは、コンソールにスローされるエラーです。

FasterCSV (1.5.0) で CSV 解析の問題を発見しました。これは本物のバグのようですが、回避策があることを願っています。

基本的に、フィールドが引用符で囲まれているときにセパレーター (私の場合はコンマ) の後にスペースを追加すると、MalformedCSVError.

簡単な例を次に示します。

私は怒っていますか、それとも FasterCSV のバグですか?

以下の行を使用してcsvを読み取ります

質問

同じ方法でオブジェクトを保存できますかdata(1 行、1 行 + csv オプション)? 上記を参照

テーブルを並べ替え (以下のコードを参照)、必要に応じて再度保存します。テーブルを一度に保存する方法がわかりませんでした。ただし、行ごとに行う方法は知っています。

私が試したものはすべてうまくいかず、非常によく似たものが得られました

ノート：

ファイルを保存するときにすべての CSV オプションを使用したいことに注意してください{:quote_char => '"', :col_sep =>',', :row_sep =>:auto, :headers => true, :return_headers => false, :header_converters => :downcase, :converters => :all}

現在、標準のcsvライブラリを使用してcsvファイルを解析する次のコードがあります

速度を上げるために、これをより高速なcsvに移動したいと思います。FasterCSVの上記に相当するものを知っている人はいますか?

ありがとう

CSVファイルに次の行があり、解析時に問題が発生します。

312,'997639',' 2','John, Doe. "J.D." ',' ','2000 ',' ','Street ','City ','NY','99999','','2010-02-17 19:12:04','2010-02-17 19:12:04';

次のパラメーターで解析しています。

ただし、行列内の「JD」が原因で、上記のような行で爆発します。FasterCSVでその行を適切に解析するにはどうすればよいですか？

ありがとう！

FasterCSV を使用して CSV レポートを生成するコントローラーが Rails にあります。これらのレポートには、約 20,000 行、場合によってはそれ以上の行が含まれます。

csv_string以下の私の実装でを作成すると、約 30 秒以上かかります。データをエクスポートするためのより良い/より高速な方法はありますか? すべてをメモリに保存することなくデータを出力する方法はありcsv_stringますか?

私の現在の実装は次のとおりです。