問題タブ [tsv]

2D グリッドに値の大きなデータ ファイルがあります。これらは、グリッド内のデータの後続の行がファイル内の後続の行になるように編成されています。各列はタブ文字で区切られています。基本的に、これは CSV ファイルですが、列ではなくタブが含まれています。

データを転置し（最初の行が最初の列になる）、別のファイルに出力する必要があります。これを行う最善の方法は何ですか？どの言語でもかまいません (Perl または C/C++ を使用することを好みます)。現在、ファイル全体をメモリに読み込む Perl スクリプトがありますが、単純に巨大なファイルがあります。

タブ区切りのテキストとしてDataTable表示する必要がある Access データベースのデータがあります。<textarea>最初に考えたのは、 aRepeaterと を使用しItemTemplateて行をフォーマットすることでしたが、問題は、Visual Studio がタブ文字を通常のスペースのセットに自動的に変換することです。これを回避する方法はありますか？または、これを達成するためのより良い方法はありますか?

csv およびタブ区切りファイルの処理に関するベスト プラクティスを探しています。

CSV ファイルの場合、値にコンマまたは二重引用符が含まれている場合は既に書式設定を行っていますが、値に改行文字が含まれている場合はどうなりますか? 新しい行をそのままにして、値を二重引用符で囲み、値内の二重引用符をエスケープする必要がありますか?

タブ区切りファイルについても同じ質問です。同じではないにしても、答えは非常に似ていると思います。

編集: ハードドライブが実際にデータを書き込む方法が原因で、このリストのスキームはどれも確実に機能しないことに注意してください。それらを使用しないでください。データベースを使用するだけです。SQLite はシンプルで優れています。

UTF-8 文字列のタプルをディスクに保存する最もローテクだが信頼できる方法は何ですか? 信頼性を確保するために、ストレージは追加専用にする必要があります。

私が実験しているドキュメント ストレージ システムの一部として、UTF-8 タプル データをディスクに保存する必要があります。明らかに、本格的な実装には、Amazon S3、Project Voldemort、または CouchDB などを使用したいと考えています。

ただし、現時点では実験中であり、まだプログラミング言語にしっかりと落ち着いていません。私は CSV を使用してきましたが、奇抜な Unicode や予期しない空白 (垂直タブなど) を保存しようとすると、CSV が脆くなる傾向があります。

ストレージに XML や JSON を使用することもできますが、追加のみのファイルには適していません。これまでの私の最善の推測は、各文字列の前に含まれるバイト数を示す 4 バイトの符号付き整数が先行し、-1 の整数値はこのタプルが完全であることを示す、かなり特異な形式です。これは CSV の改行に相当します。 . 頭痛の主な原因は、ディスク上の整数のエンディアンを決定しなければならないことです。

編集：実際には、これは機能しません。文字列の書き込み中にプログラムが終了すると、データは取り返しのつかないほどずれます。アボートされたタプルの後にアラインメントを回復できるようにするには、何らかの帯域外シグナリングが必要です。

編集 2: テキスト ファイルへの追加時に原子性を保証することは可能ですが、パーサーは非常に重要です。上記のパーサーを今書いています。

編集 3: http://github.com/MetalBeetle/Fruitbat/tree/master/src/com/metalbeetle/fruitbat/atrio/で最終結果を表示できます。

Rubyでタブ区切りファイルを解析するための最良の（最も効率的な）方法は何ですか？

Hive へのインポートに適した TSV に変換したい、非常に単純な形式の XML ドキュメントがあります。このドキュメントのフォーマットは単純です。

上記のようにフォーマットされたドキュメントを TSV に適切に変換する作業中の Ruby スクリプトがあります。それはここにあります：

残念ながら、翻訳する必要があるファイルは、このスクリプトが処理できるサイズ (> 1 GB) を大幅に超えています。

ここで Hadoop の出番です。最も簡単な解決策は、おそらく Java で MapReduce ジョブを作成することですが、私には Java のスキルがないため、それは選択肢ではありません。だから私はPythonまたはRubyのいずれかでマッパースクリプトを書きたかったのですが、私は専門家とはほど遠いですが、少なくともナビゲートすることはできます.

私の計画は、次のことを行うことでした。

1. StreamXmlRecordReader を使用してファイル レコードをレコードごとに解析する
2. クラックを使用してデシリアライゼーションをマップする
3. タブで区切られた要素の単純な逆流でそれを減らします

しかし、このアプローチは一貫して失敗しています。さまざまな Ruby/Wukong スクリプトを使用しましたが、成功しませんでした。これは、ここの記事に基づいたものです。

このジョブと他のジョブは次のように失敗します。

最初の問題は、どこで失敗しているのかわからないことです。自分のスクリプトなのか、StreamXmlRecordReader なのか。

2 番目の問題は、親切で親切な専門家から、StreamXmlRecordReader は追加のレコード区切り文字を生成しないため、このアプローチはおそらくうまくいかず、1 行で読み取る必要があると言われたことです。grep行の場合、/行が得られるまですべてを積み上げてから解析します。

これは最も簡単なアプローチですか? もしそうなら、どうすればそれを達成するのが最善でしょうか?

念のため、これらのファイルは数週間ごとにバッチ処理されるため、パフォーマンスは大きな問題ではありません。

私が達成しようとしていることは、理論的には非常に簡単なはずですが、何が問題なのかわかりません。import-csv コマンドレットを使用して .tsv ファイルを読み込もうとしています。

私の構文は次のとおりです。

問題は、これが私のファイルの最初の列だけを表示することです。他のデータ列が表示されないのはなぜですか? メモ帳でファイルをチェックして、データが実際にタブで区切られていることを確認しました。

どんな助けでも大歓迎です。

C＃アプリケーションでNPOIライブラリを使用しています。

私が作成しているのは、Excelシートからデータを自動的に読み取って抽出するレポートシステムです。システムに取り込む必要のあるすべてのレポートが.xls形式であるとの仕様が与えられましたが、現在はそうではないようです。

NPOIライブラリを使用してCSVまたはTSVファイルを読み取ることは可能ですか？Webをクロールしましたが、このライブラリのJavaバージョンに関連する回答しか見つけられないようです。

助けていただければ幸いです、ありがとう:)

CSV / TSVデータをCouchDBにインポートする方法は？

アップロードしたファイルがタブ区切りで区切られていることを検証したい。私のファイルは ではありません.CSV。PHPでこれを行う方法を知っている人はいますか? 前もって感謝します。