問題タブ [flat-file]

フラットファイルのフォーマットを説明するために使用できる標準またはオープンフォーマットはありますか？私の会社は多くの異なる顧客ファイル形式を統合しています。XMLファイルを使用すると、XMLファイル形式を記述するためのXSDを簡単に取得または作成できます。フラットファイル形式（固定幅、区切り文字など）を説明するのに似たものを探しています。Stylus Studioは、独自の.conv形式を使用してこれを行います。その.conv形式を実行時に使用して、任意のフラットファイルをXMLファイルに変換できます。同じことをするためのオープンな方法や標準ベースの方法が他にあるのだろうかと思っていました。

固定幅か区切り文字かに関係なく、さまざまなフラットファイル形式を記述する1つの方法を探しているので、CSVはこの質問に対する答えではありません。

SSISでフラットファイルから文字を取り除く最良の方法は何ですか? 私の場合、処理する前にファイルからすべての引用符を削除する必要があります。

編集:
SSIS の一部のファイルに対して実行可能ファイルを実行するにはどうすればよいですか? どうにかしてソース接続を入力として使用できますか、それともファイル名をパラメーターとして渡す必要がありますか?

SSIS は、すべてのレコードが同じであるフラット ファイルの処理には優れていますが、少し複雑な場合にはあまり適していません。

これに似たファイルをインポートしたい -

これを次の出力に変換したい -

私の人生では、これを行う簡単な方法を見つけることができません。誰か提案がありますか？それとも、より優れた ETL ツールが必要ですか?

仕事で繰り返し発生するテーマとなる問題への答えを見つけていただければ幸いです。これには、RDBMSテーブルからのデータを、列間でグループを繰り返す（ドメインと意味を共有する）フラットファイル形式に非正規化することが含まれます。残念ながら、これは避けられません。

これが私が必要とする変換の非常に単純化された例です：

これは次のようになります。

からの各エントリTABLE Aには、出力フラットファイルに1つの行があり、からの関連フィールドごとに1つの列がありますTABLE B。出力ファイルの列には、から取得したフィールドの値を空にすることができますTABLE B。

これにより非常に幅の広いファイルが作成されることはわかっていますが、これは必須です。MapForceとApatarを見てきましたが、この問題はあまりにも奇妙であるか、正しく使用できないと思います。

私の質問：これを実現するツールはすでにありますか、それとも最初から開発する必要がありますか（車輪の再発明はしたくない）？

フラットファイル データベース情報を 1 つの大きな類似多次元配列に解析するためのクラスを作成したいと考えています。次のように、データベースを一種のpython-esque形式でフォーマットするという考えがありました。

これを解析して、キー/値をスローするために解析しながら構築および配列しようとしています。非常に動的で拡張可能にしたいと考えています。私は多くの異なるテクニックを試してきましたが、これらの試みのそれぞれで困惑しています. これは私の最新のものです：

正直なところ、ここからどこへ行くべきかわかりません。私を最も悩ませているのは$this->c["main"]["sub"]["etc"]、ここにあるように多次元値を設定することです。それはできますか？データがdbファイルにネストされているため、実際に配列をネストするにはどうすればよいですか?

大きなJSONファイルをデータベースに保存するための最良の方法は何ですか？CouchDBについては知っていますが、使用するサイズのファイルはサポートされないと確信しています。

それらを読み取ってから更新するのに時間がかかるため、ディスクからそれらを読み取るのは気が進まない。このファイルは最大30,000個の要素の配列であるため、各要素を従来のデータベースに個別に保存すると、すべてを選択しようとすると死んでしまうと思います。

バックスペースで区切られたフラットファイルを見たことがありますか? 私の要件は、そのようなファイルを解析することですが、ファイルにバックスペース文字を入れて、それを検出できるかどうかを確認することができません。

通常の区切りテキスト データ ファイルの SSIS 解析にはかなり精通していますが、次のテスト ファイルのようなファイルに取り組む方法についてアドバイスを求めています。

321.91 はトランザクションの合計です。

私は SSIS でこれを行うことを好みますが、C# パーサーを作成することもできます。

提案をいただければ幸いです。

ありがとうございました。

単純なフラット ファイル データベースの例と、データ レイヤーを介してそれらにアクセスする方法を見てみたいと思います。以前にフラット ファイルの書き込みと読み取りを行ったことがありますが、テキスト ファイルを使用してアプリケーションのデータにアクセスするデータ レイヤーを作成したことはありません。

可能であれば、シンプルなカスタム フラット ファイル データベースを利用したデータ レイヤーを含むチュートリアルを参照してください。カスタム・ビジネス・オブジェクトを XML で保存してからアップロードする例は、XML が非常に一般的で扱いやすいため、優れています。

また、フラット ファイル データベースの設計に関するベスト プラクティスについて説明している Web サイトへのリンクなどもあれば幸いです。

私の目標は、単純なデータをユーザーのマシンに保存するためのソリューションを用意し、保存されている場所からデータを取得するために特別なソフトウェア (SQL Server など) をインストールする必要がないようにすることです。

これは非常に一般的な質問であることは承知していますが、正しい方向に導くことができるアドバイスは大歓迎です。