問題タブ [csv]

何千もの列を含むいくつかの大きな csv ファイルがあり、それらをインポートしてから、列の内容に基づいて列全体を削除する必要があります。Rubyでこれを処理する簡単な方法はありますか?

データを転置してから行を削除することもできましたが、もっと構文的に甘い方法があるかどうか疑問に思っていました。

短いバージョン: データを長期間保持したくない場合、HSQLDB でプログラムによってデータベースを作成し、CSV データをロードするにはどうすればよいですか? 私のスキーマはファイルと正確に一致し、ファイルには適切な列名があります。

これは無人プロセスです。

詳細：

Web 経由でダウンロードした 3 つの CSV ファイルにいくつかの単純な SQL 手法を適用してから、いくつかの DTO を作成し、それを既存のコードで使用してさらに処理し、REST 経由で保存する必要があります。データベースをいじりたくないのですが、CSV ファイルは外部キーによってリンクされているため、メモリ内の組み込みデータベースを使用して作業を行い、すべてを破棄することを考えていました。

私は次のように動作するコマンドラインアプリを念頭に置いていました:

1. HSQLDB に新しいデータベースを作成します。
2. Apache HttpClient を使用して、3 つのスレッドで 3 つの HTTP GET を開始します。
3. CSV を 3 つの HSQLDB MEMORY テーブルにインポートします。
4. SQL を実行します。
5. 結果を既存の DTO に解析します。
6. 等...

項目 1 と 3 に役立つコードとユーティリティへのポインタを使用できます。また、検討すべき HSQLDB の代替手段はありますか?

Excel .csv ファイルからデータを取得し、さまざまなレベルの書式設定、移動、およびマッピングを適用するアプリを構築しています。データのクリーニングに関する 1 つの問題を除いて、ほとんどすべてが把握されています。以下は、Excel からのデータの例です。

1. グレート パフォーマンス、グレート パフォーマンス、57744 ラウンド レイク RD、ニューヨーク、NY
2. 「GUASTAVINO'S, INC」、GUASTAVINO'S、8250 WESTHEIMER RD、ニューヨーク、NY
3. CLARKES GROUP LLC、HUGO'S FROG BAR、915 3RD AVE、シカゴ、IL
4. TRIOMPHE RESTAURANT CORP,"GEORGE'S,JEAN", 1309 E PUTNAM AVE, NEW YORK, NY

行 3 の 2 と 4 のため、単純に destroy() を実行できません。これらの行の両方に「文字列、文字列」があり、データのエクスポートを制御できず、インポート時にクリーニングするだけです。

優雅ではない多くのオプションを試しましたが、処理時間がかかります。誰でもエレガントなソリューションを考えることができますか?

MySQL IMPORT 機能を使用できません。残念ながら PHP 経由で処理する必要があります。

非常に大きな CSV (カンマ区切り値) ファイルがたくさんあり、それらを分析したいと考えています。これには SQL クエリが最適です。これまでのところ、MS Access を使用して CSV ファイルをインポートし、それらに対してクエリを実行してきました。ただし、非常に悪い SQL エディターがあり、クエリ/テーブルをいつ開くか、編集するか、削除するかについて、ばかげた恣意的なルールがあることに加えて、非常に遅いです。クエリを実行するときの最初の遅さは我慢できますが、別の列でテーブルをソートしようとしたり、5 分待ったり、スクロールしようとしたりするたびに、クエリが再実行されるように見えるのが本当に嫌いです。

仕事のためのより良い（無料の）ツールはありますか？(必要に応じて、CSV を別のものに変換するスクリプトを手動で作成したいと思います)

ありがとう！

編集：すべての回答をありがとう！SQL Server を試してみます。うまくいけば、その答えを受け入れます。明確化：データファイルのインポートは必ずしも私にとって問題ではありません（ただし、これを行う簡単な方法はもちろん大歓迎です）。私が必要としているのは、(かなり複雑な) クエリを迅速かつ効率的に実行できるようにするプログラムです。FileHelpers は役に立ちません。まず第一に、私は .NET 言語をまったく知らず、第二に、Java でデータを持っていたのですが、SQL を使用すると分析がはるかに簡単になると思いました。でも答えてくれてありがとう！

HTTP 応答で CSV ファイルを送信する必要があります。出力応答を CSV 形式に設定するにはどうすればよいですか?

これは機能していません:

私が取り組んでいるWebアプリケーションでは、ユーザーはCSVファイルへのリンクをクリックできます。mime-typeにヘッダーが設定されていないため、ブラウザーはそれをテキストとしてレンダリングするだけです。このファイルを.csvファイルとして送信して、ユーザーがcalc、excel、gnumericなどで直接開くことができるようにしたいと思います。

このコードは私のコンピューターでは期待どおりに機能しますが（いつものようではありませんか？）、別のコンピューターでは機能しません。

私のブラウザはFF3.0.1（Linux上）のナイトリービルドです。それが動作しなかったブラウザはIE7とFF3.0（Windows上）でした

私が知らない癖はありますか？

何らかの理由で、SSIS は利用できません。

OPENROWSETについて読みましたが、フォーマットファイルとファイルのパスから他の問題が発生します。

どうすればエレガントな方法でそれを行うことができますか?

OpenOffice.org APIを使用してCSVファイルをインポートするにはどうすればよいですか？「CVSテキスト」フィルターを使用して同じファイルを開いたときにも提供されるのと同じ機能を使用してこれを実行したいと思います。

小数点区切り文字が ,(カンマ) である言語では、CSV (カンマ区切り値ファイル形式) 区切り記号は ; です。（セミコロン）。Windows コントロール パネルでこの構成を見つける場所は知っていますが、.NET アプリケーションでプログラム的に見つける方法がわかりません。

Thread.CurrentThread.CurrentCulture にその情報があると思いますが、その中には見つかりませんでした。

かなり自明ですが、Googleを試してみたところ、恐ろしい専門家交換がたくさんありました。ここでも検索しましたが、役に立ちませんでした。オンライン チュートリアルまたは例が最適です。みんなありがとう。