問題タブ [file-processing]

新しいプロジェクトで ESB (おそらく WSO2、Mule、Petals、または Service Mix) を使用したいと考えています。

ESB でうまく機能するビジネス プロセス/ワークフローがいくつかありますが、特定のシナリオで苦労しています。

基本的な要件は、受信バイナリ ファイルをいくつかの段階で処理することです。

• 外部ツールを使用してファイルを前処理します。
• いくつかの構成データに基づいてファイルを分割します。
• これらの小さなファイルのそれぞれを処理して「スコア」を計算します。これらの一部は、私が作成するコードによって処理されますが、場合によっては外部ソフトウェアも呼び出されます。
• 計算されたすべてのスコアをデータベースにロードします。これは、段階的にではなく、フローの最後に行う必要があります (主キーはファイルの処理中にのみ検出されるため)。
• 初期ファイルをアーカイブ領域に移動します。

着信ファイルはローカル ディレクトリにドロップされます。すべてのツールがディレクトリのポーリングをサポートしているため、これは問題になりません。

ただし、私が読んだことによると、ほとんどのツールはメッセージのペイロードが簡単に読み取れることを期待しているため、ペイロードで直接処理を実行できます。私の場合、受信ファイルを使用して実際のペイロード データ (データベースに書き込む値) を生成したいだけです。

これは ESB がサポートできるパターンですか? 上記のツールを使用したこの種のデータ処理に関する記事はありますか? 他のテクノロジー/パターンを検討する必要がありますか?

これが理にかなっていることを願っています！

どうもありがとう、

ケン

多くの.frmファイルを含む大きなVB6アプリがあります。基本的に、すべてのフォームからコードを「ガット」して、GUIデザインをそのままにしておきたいと思います。

このタスクをすばやく実行するための最良の方法は何でしょうか？

複数の VB6.frmファイルがあります。以下の例を参照してください。関数とサブルーチンをコードから取り除き、フォームのデザインだけを残します。

私がする必要があるのは、「属性」で始まる最後の行を見つけることです。この行の後にはすべてを削除する必要があるからです。

.frmパターン マッチングなどを使用して、最後の属性行の後のすべてが削除されるようにファイルを処理するにはどうすればよいですか? ファイルをトラバースしている場合、最後の属性行がどこにあるかをどのように確認できますか?

.frmファイルの例:

VB6 では.frm、フォルダー内のすべてのファイルをループして、それぞれに何かを行うにはどうすればよいですか?

小さな問題があります。OldMaster、Transaction、および NewMaster の 3 つのファイルがあります。OldMaster と Transaction の口座番号が一致する場合は、残高を更新して NewMaster に書き込みます。一致しない場合は、元のアカウント情報を OldMaster から NewMaster に書き込み、エラーを表示します。

ファイル OldMaster には 4 つのアカウントがあり、ファイル Transactions には 4 つのアカウント トランザクションがあります。何らかの理由で、プログラムが各ファイルの 4 番目 (最後) のアカウント/トランザクションを処理しておらず、NewMaster がデータを受信して​​いません。

2 つの異なるファイルを組み合わせてデータを処理する必要があります。どちらにも、並べて照合するために使用できる主キーを形成する 2 つの列があります。問題のファイルは巨大 (2,000 万行で約 5GB) であるため、効率的なコードが必要です。Perlでこれを行うにはどうすればよいですか?

例を挙げます：

ファイル A に列が含まれている場合

ファイル B には列が含まれています

列を持つ出力ファイルを作成するには、2 つのファイルのidとdobを一致させて、これら 2 つのファイルを結合する必要があります。

私はすでに知っているべきだと思うので、この質問をするのは恥ずかしいです. ただし、私はそうではありません.... OutOfMemory例外を発生させずに、ディスクからデータベースに大きなファイルを読み取る方法を知りたいです。具体的には、CSV (または実際にはタブ区切りファイル) を読み込む必要があります。

私はCSVReader特にこのコードサンプルを試していますが、間違っていると確信しています。彼らの他のコーディング サンプルのいくつかは、任意のサイズのストリーミング ファイルを読み取る方法を示しています。これは、私が望んでいるものです (ディスクから読み取る必要があるだけです) IDataReader。

私はディスクから直接読み込んでいますが、一度に大量のデータを読み込んでメモリ不足にならないようにする試みを以下に示します。BufferedFileReaderファイルの場所を指定してバッファサイズを指定し、最初のパラメータとしてa をCsvDataReader期待できる a または同様のものを使用できるはずだと考えずにはいられません。それを使用することができます。IDataReader私の方法の誤りを教えてください。GetData任意のファイル チャンク メカニズムを使用する方法を削除して、この基本的な問題を解決してください。

私のためにこれを見ていただきありがとうございます。

背景: 個人金融プロジェクトの OFX/QFX ファイルを処理しています。コードは C# で記述しましたが、完全に実行されます。インポート オブジェクトを作成し、OFX/QFX ファイルを 1 行ずつ処理し、前述のオブジェクトをコンソールに出力できます。ただし、.Net Framework で記述されていない Web アプリケーションで使用するために、これを PHP に移植しています。

問題: ファイルがユーザーによってアップロードされ、PHP ファイルに渡されます。を使用してファイルを 1 行ずつ読み取ると$line = fgets($file);、期待した結果が得られません。ファイルが開いていて、行が読み取られているという事実を知っています。でも; var_dump($line)変数が割り当てられた直後に 配置すると、"string(15) "ENG ""取得する必要があるのは次の場合です。

私の処理モデルは、文字列のタグ部分を読み取る機能に大きく依存していますが、PHP がそれを取り除いているように見えるため、私のコードは期待どおりに動作しません。

質問: fgets() を使用しているときに完全な文字列値を受信しない理由を誰か教えてもらえますか? また、これを行うより正しい方法はありますか？私は .Net にかなり精通していますが、PHP は私にとって少し新しいので、私が理解していないのは PHP 言語の癖にすぎないと思います。

ありがとうございました

大量のファイルを処理する C# および .NET 2.0 で開発された Windows サービスのパフォーマンスを改善しようとしています。1 秒あたりにより多くのファイルを処理したい。

そのプロセスでは、各ファイルに対して、サービスはデータベース クエリを実行して、システムのいくつかのパラメーターを取得します。

これらのパラメーターは毎年変更されます。これらのパラメーターをシングルトンとしてロードし、このシングルトンを定期的に更新すると、パフォーマンスが向上すると考えています。処理中のファイルごとにデータベース クエリを作成する代わりに、メモリからパラメーターを取得します。

シナリオを完了するには: Windows Server 2008 R2 64 ビットを使用しています。SQL Server 2008 はデータベース、C# および .NET 2.0 です。

私は私のアプローチで正しいですか？あなたならどうしますか？

ありがとう！

さまざまな列の型と値を持つ csv ファイルを解析することになっている Java コードを書いています。基本的なファイルは、ヘッダー/列行なしで、このようなもの (CSV) になります。ファイルの処理を簡単にするために、列名を使用して各セルのインデックス値にアクセスできるようにしたいと考えています。現時点では、CSV パーサーを使用したくありません。

enum は C++ のように整数に変換されないため、列名の ArrayList を (順番に) 使用することを考えました。このようにして、次のようなことができます：

私はJavaにかなり慣れていません-これを行うためのより良い/よりスマートな方法はありますか? ありがとう。