問題タブ [file-processing]

ファイルからランダムに 1/100 行を選択したい 10^7 行のファイルがあります。これは私が持っている AWK コードですが、事前にすべてのファイル コンテンツを丸呑みします。私の PC メモリは、そのようなスラープを処理できません。それを行うための他のアプローチはありますか？

この質問のフォローアップnとして、ファイル（またはstdin）からランダムに正確に行を取得する必要があります。headこれはまたはに似ていますtailが、真ん中からいくつか欲しい点が異なります。

リンクされた質問の解決策を含むファイルをループする以外にn、1回の実行で正確に行を取得するための最良の方法は何ですか？

参考までに、私はこれを試しました：

ここ$ratioで、必要な行の大まかなパーセンテージを示します。たとえば、10行に1行が必要な場合：

ただし、これでは正確な金額はわかりません。

私が持っていたもう1つの考えは、入力ファイルを丸呑みしてnから、配列からランダムに選択することでしたが、非常に大きなファイルがある場合は問題になります。

何か案は？

編集：これはこの質問の正確な複製です。

Javaでやや大きなファイルを読み取って処理する必要があります。ファイルを読み取って処理しているときに、他のプロセスによって上書きされないようにファイルを保護するための賢明な方法があるかどうかを知りたいのですが。

つまり、読み取り専用にするための何らかの方法で、「開いた」状態に保つか、何か...

これはWindows環境で行われます。

br、トウコ

要件: エラーが発生した場合 (例外がスローされた場合)、処理中のファイルをエラーのあるファイルのフォルダー (app.config 設定) に移動する必要があります。

問題: これを処理する唯一の方法は、メインの Try/Catch 内にネストされた Try/Catch を配置して、ファイルを移動しようとすることです。この方法では、移動が失敗すると、別の例外がスローされます。ディレクトリが存在し、権利が与えられていることを確認するために最善を尽くすことができることはわかっていますが、それはネットワークドライブであるため...ある時点でエラーが発生することはわかっています.

例

実際、それは私が思っていたよりもさらに恐ろしいものでした。

今、私は何か間違ったことをしていることを知っています。ファイルを移動してイベントを呼び出すことができるように、キャッチで発生する可能性のあるエラーを実際にどのように処理する必要がありますか?

インシデントごとにHTMLテーブル形式を使用して、ログファイルに追加しようとしています。ただし、解決方法がわからない問題が1つあります。これがHTMLの静的出力です

問題は、HTMLを台無しにすることなく、できれば最小限の処理で、ログエントリをテーブルにすばやく挿入する方法です。ファイル全体をロードし、テンプレートソリューションを使用して、ファイルを書き換えることができることはわかっていますが、それは遅いかもしれません（ログファイルは急速に大きくなる可能性があります！）。

だから私は追加のために通常開いているファイルを探しています、そしてどういうわけか最後の行の後、しかしタグの前に書きます。

助言がありますか？

PS。最後にタグを省略した場合、ほとんどのブラウザがHMTLをレンダリングすることは知っていますが、理想的な解決策があるかどうかを知りたいと思っています。

さまざまなファイル形式 (Excel などの独自の形式を含む) を取り込めるファイル処理コンポーネント/システムを設計する必要がある場合、この情報を解析/検証し、DB に保存します..どのようにしますか?

注 : 95% の確率で、入力データの 1 行がデータベースの 1 レコードに相当しますが、常にそうとは限りません。

現在、顧客データを解析/検証/データベースに保存するために設計したカスタム ソフトウェアを使用しています。システムは、ファイル システム内の場所によって (ftp ドロップから) ファイルを識別し、XML "定義" ファイルをロードします。(入力ファイルがドロップされた場所に基づいて、正しい XML がロードされます)。

XML は、ファイル レイアウト (区切りまたは固定幅) やフィールド固有の項目 (長さ、データ型 (数値、英字、英数字)、およびフィールドを格納する DB 列) などを指定します。

この設計のため、入力ファイルはテキスト (固定幅または区切り記号付き) である必要があり、入力ファイルのデータ フィールドから DB 列への 1 対 1 の関係が必要です。

ファイル処理システムの機能を拡張して、Excel やその他のファイル形式を取り込めるようにしたいと考えています。

私が進める方法は少なくとも半ダースありますが、アイデアを実際に跳ね返す人がいないため、今は立ち往生しています。

繰り返しになりますが、ファイル処理コンポーネントを設計する必要がある場合、さまざまなファイル形式 (Excel などの独自の形式を含む) を取り込んで、この情報を解析/検証し、DB に保存できます.どのようにしますか?

ファイルを監視し、ディスクに書き込まれるときにそれらを編集する必要があるプロジェクトがいくつかあります。私が探しているのは、ウイルス対策ツールの動作と操作上同じだと感じています。詳細を説明します。1）Officeアプリケーションによって保存されたすべてのファイルをトラップし、ディスクに書き込まれるときに各ドキュメントのヘッダー/フッターに特定の会社タグを追加する必要があります。2）編集可能なファイル（ほとんどすべてのタイプ）がディスクに書き込まれるタイミングをすぐに知る必要があります。これにより、スキャン操作を実行して、ファイルの内容が特定の会社のポリシーを満たしているかどうかを確認できます。

つまり、ディスクに書き込まれているユーザーファイルを処理する必要があることがわかります。

これが私の問題です。このタスクにC＃を使用したいのですが、要件を満たすことができるかどうかわかりません。私がネット上で見たものはすべて、このプロジェクトの時間的制約のために特に避けたい低レベルのCプログラミングを対象としています。C＃でこのタスクを簡単に実行する方法を知っている人はいますか？それは実現可能でさえありますか（つまり、言語のレベルが高すぎる、言語が遅すぎるなど）？

私は、サービス注文を処理するための新しいワークフロー システムを構築する任務を負っています。ワークフローのステップを管理するためのエンジンとして Windows Workflow Foundation を調査しており、ファイル処理までは気に入っています。

ワークフローには、ベンダーからファイルが返されるのを待っているステップがあります。ファイルには、個々のワークフローへの各マッピングが複数のレコードが含まれています。アイデアは、WF 内の永続化機能を使用して、データがファイルに返されたら、残りのワークフローを続行できるようにすることでした。

持続性モデルの問題は、SSIS などを使用してファイル内の各行に対して WF サービスを呼び出すスケーラビリティです。小さなファイルの場合、これは問題ではありませんが、ファイルが非常に大きくなる可能性があります。

Workflow Foundation でこれと似たようなことをした人はいますか?

ありがとう、クリス