問題タブ [flat-file]

PHPでフラットファイルデータベース構造を作成する際のベストプラクティスは何ですか？

多くのより成熟したPHPフラットファイルフレームワークがあり、SQLのようなクエリ構文を実装しようとしています。これは、ほとんどの場合、私の目的では上回っています。（その時点でデータベースを使用します）。

小さなコードオーバーヘッドで優れたパフォーマンスと機能を実現するためのエレガントなトリックはありますか？

SASデータテーブルをフラットファイル（または、バイナリファイルではなく、一度呼び出された「ASCIIファイル」）に変換する必要があります。また、元のSASテーブルごとに1つのフラットファイルのみ。難しいのは、フラットファイルに元のSASテーブルの構造情報も含めるようにすることです。具体的には次のとおりです。

• 変数/列名
• 変数/列ラベル
• 変数/列タイプ
• 変数/列の長さ
• 変数/列形式
• 変数/列の情報

追加情報：

• 小さなデータ（<100 obs）を変換するだけで済みます。
• パフォーマンスは問題ではありません（妥当な制限内）。
• フラットファイルは、元のSASテーブルを再作成するための基礎を形成する必要があります。DATAまたはPROCステップでファイルをテーブルとして直接使用できる必要はありません。

標準のSASテーブル、トランスポートファイル、XPORTファイルなどはすべてバイナリ形式のファイルであり、SASおよびCSVファイルの標準のXMLテーブル形式はテーブル構造を保持しません。したがって、明らかにこれらのオプションは役に立ちません。

私の最良の選択肢は何ですか？

メインフレームから入ってくる一連のASCIIフラットファイルがC＃アプリケーションで処理されています。Packed Decimal（COMP-3）フィールドを備えた新しいフィードが導入されました。このフィールドは、数値に変換する必要があります。

ファイルは、ASCII転送モードを使用してFTP経由で転送されています。バイナリフィールドに、値の代わりに非常に低いASCIIコードまたは制御文字として解釈されるものが含まれている可能性があることを懸念しています。さらに悪いことに、FTPプロセスで失われる可能性があります。

さらに、フィールドは文字列として読み取られています。私はこの部分（つまり、ある種のストリーム）を回避する柔軟性を持っているかもしれませんが、ビジネスは私にプッシュバックを与えます。

要件は「HEXからASCIIに変換する」と読みましたが、明らかに正しい値が得られませんでした。どんな助けでもいただければ幸いです。変換プロセスのロジックを説明できる限り、言語固有である必要はありません。

フラット テキスト ファイルがソース コードを表現するための最新技術であるのはなぜですか?

確かに - プリプロセッサとコンパイラはファイルのフラット ファイル表現を確認する必要がありますが、それは簡単に作成できます。

XML またはバイナリ データの形式によっては、追跡が非常に困難な多くのアイデアを表すことができるように思えます。

たとえば、UML ダイアグラムをコードに直接埋め込むことができます。それらは半自動的に生成され、設計の重要な側面を強調するために開発者によって注釈が付けられます。特に相互作用図。まあ、ユーザーの描画を埋め込むと、物事がより明確になるかもしれません。

もう 1 つのアイデアは、コード レビューからのコメントをコードに直接埋め込むことです。

複数のブランチを簡単にマージするためのあらゆる種類の支援が存在する可能性があります。

私が情熱を注いでいるのは、コード カバレッジを追跡することだけではなく、自動テストでカバーされているコードの部分を調べることです。難しいのは、ソースが変更されたとしても、そのコードを追跡することです。たとえば、関数をあるファイルから別のファイルに移動するなどです。これは GUID を使用して行うことができますが、テキスト ファイルに直接埋め込むのはかなり煩わしくなります。リッチ ファイル形式では、それらは自動で目立たないようにすることができます。

では、なぜ (私の知る限りでは) この方法でコードを操作できる IDE がないのでしょうか?

編集: 2009 年 10 月 7 日。

あなたのほとんどは、私の質問で「バイナリ」という言葉に非常にこだわっています。撤回します。画像 XML、コードのマークアップを最小限に抑えます。通常のプリプロセッサまたはコンパイラに渡す直前に、XML マークアップをすべて取り除き、ソース コードだけを渡します。この形式でも、差分、マージ、編集、シンプルで最小限のエディターでの作業、何千ものツールへのフィードなど、ファイルに対する通常の操作をすべて行うことができます。はい、最小限の XML マークアップを直接使用した差分、マージ、および編集は、少し複雑になります。しかし、その価値は計り知れないと思います。

すべての XML を尊重する IDE が存在する場合、現在私たちができることよりもはるかに多くの機能を追加できます。

たとえば、DOxygen コメントは、実際には最終的な DOxygen 出力のように見える場合があります。

Code Collaborator のように、誰かがコード レビューを行いたい場合、その場でソース コードをマークアップすることができました。

XML は、コメントの背後に隠されることさえあります。

vi や emacs を使いたい場合は、コメントを飛ばしてください。

最先端のエディターを使用したい場合、約 10 種類の便利な方法でそれを確認できます。

だから、それは私の大まかな考えです。画面上でドラッグするのは、写真の「積み木」ではありません... 私はそんなに好きではありません。:)

プログラムで生成したオブジェクトを保存したい。再起動後、アプリは配列内のすべてのオブジェクトを自動的にロードする必要があります。それらをファイルに書き込み、再起動後に解析したい。手で行うよりも賢明な可能性はありますか? ありがとうございました

ヘッダー レコードと詳細レコードを持つフラット ファイル スキーマがあります。次のようになります。

メッセージの最後に 2 行の空白行を追加する必要があります。現在、複数のレコードがある場合、次の出力が得られます。

私が見たいのは、次のようなものです。

これを行うためにカスタム パイプライン コンポーネントを構築することもできますが、必要なものを取得するためのより簡単な方法があるかどうか疑問に思っています。

したがって、私のプログラムは、基本的にプレーンテキストファイルを行ごとに処理する必要があります。

ファイル全体が完成するまで、これに関する適切なコーディング例を誰かが知っています。

基本的に、フラット ファイルをデータベースに取得する必要があります。フラット ファイルには、各行の最初の 2 文字がどのタイプのレコードであるかを示しています。

レコードのフィールドに一致するプロパティを持つレコード タイプごとにクラスを作成する必要がありますか? 配列だけを使用する必要がありますか?

データをデータベースに保存する前に、何らかのデータ構造にデータをロードして、単体テストを使用してデータが正しくロードされたことを確認できるようにします。

これが私が取り組まなければならないもののサンプルです（BAI2銀行取引明細書）：

多くのパートナーからCSVファイルの形式でデータを受信するシステムを設計しています。ファイルは、列の数と順序が異なる場合があります。ほとんどの場合、列のサブセットを選択し、それらを並べ替えて、パーサーに渡したいと思います。パーサーをできるだけ単純にするために、受信データを標準形式に変換できることを明らかに望んでいます。

理想的には、グラフィカルツールを使用して受信データ形式ごとに変換を生成し、変換をドキュメントとしてデータベースまたはディスクに保存できるようにしたいと思います。データを受信したら、正しい変換を適用して（正しい変換をどのように決定するかは気にしないでください）、正規の形式のXMLドキュメントを取得します。受信ファイルにXMLが含まれているとしたら、フォーマットごとにXSLTドキュメントを作成して、作業を進めていたでしょう。

私は過去にBizTalkのフラットファイルXSLT拡張機能（またはそれらが呼ばれるもの）を同様の目的で使用しましたが、このプロジェクトでBizTalkの煩わしさを望んでいません（そして私もそれを買う余裕はありません）。

エレガントな方法で目標を達成できる代替テクノロジーやXSLT拡張機能があるかどうか誰かが知っていますか？

.NET 3.5 SP1上のC＃でアプリを開発しています（したがって、.NETでサポートされているテクノロジを優先します）。

JavaでDBクエリの結果をファイル（csv、タブなど）に出力する簡単または簡単な方法はありますか？おそらくHibernateでも？

クエリ結果をDBサーバー上のフラットファイルにダンプできることを知っています。アプリケーションがクエリを実行し、それらの結果をファイルに取り込む方法を探しています。

1つのオプションは、結果セットを繰り返し処理し、区切り文字で区切って一度に1行ずつレコードを出力することです。しかし、組み込みの方法、またはHibernateの方法がある場合、それははるかに優れています！

私が本当に探していたのは、これをコードで行う方法でした（たとえば、アプリケーションが実行されているとき）。このようにして、サーバーはクエリを取得し、データベースに対して実行し、出力をフラットファイルに送信できます。

クエリを送信するサーバーは、ファイルが機能したことを知るためだけに、ファイル自体を実際に必要としません。したがって、Oracle DBサーバーがアクセスできるディレクトリ内のフラットファイルに出力をリダイレクトできるSQL（Oracle DBの場合）がある場合は、それも機能します。実際にJavaサーバーにファイルを書き込む必要はありません。ファイルのクエリに基づいてファイルの作成をトリガーするだけです。

うまくいけば、それは理にかなっています。