問題タブ [file-processing]

そのため、現在、c# で大きなファイルを処理するための最善の方法を研究しようとしています。現在、1,000 万行以上のデータを含む大きなファイルがあります。もともと、私のクライアントは、ファイルには数万行が含まれていると言っていたので、以前に各行を新しいファイルに書き込んで、処理のためにインターフェイス エンジンで取得しました。しかし現在、これらのファイルが予想よりもはるかに大きくなり、処理に週末がかかっています。私はロジックを最適化しようとしており、最適な方法を研究しています。複数のスレッドが 1 つのファイルから読み取れるようにすることを検討しましたが、ディスク I/O の機械的なボトルネックにより、改善の余地があまりありません。次の方法は、各行を読み取り、各行 (または行のグループ) を別のスレッドで処理することです。これにより、各行の処理を同時に実行できるため、ある程度の最適化が得られます。一部の人々は、非常に大きなファイルの処理に豊富な経験を持っていることを知っており、私のアプローチについてフィードバックを得るか、この問題に取り組む別の方法を見つけたいと考えていました。

ご意見やご感想をお待ちしております。

ファイルには以前の内容が正しく残っていますか?

1)file_put_contents関数を使用してエラーが発生した場合

2)コピー機能を使用してエラーが発生した場合

半動的ページを実装したいのですが、このプロセスでのエラーが Web ページに問題を引き起こす可能性があるかどうかを知りたいので質問しています。

コンテンツのPHPファイルを処理したいのですが、<？php ...？>の間の部分にのみ関心があります。残りは削除して、新しいファイルに保存する必要があります。以下に、このページの複数行のsed検索のコードに基づいたコードの一部をすでに示しました。しかし、それはの最初の部分を与えるだけです。

誰かが解決策を持っていますか？awk、grepも大丈夫です。ありがとう

1 列目や 5 列目などの特定の列を取得して、タブ区切りのテキスト ファイルを解析し、これらの各列をテキスト ファイルに出力する必要があります。データ ファイルとコードの例を見つけてください。

データファイル：

バッチファイル：

これは機能しますが、Forループは最初の行で停止します。

問題を見つけるのを手伝ってくれませんか？

Javaプログラムを使用して、たとえば1000個のファイルなど、多数のファイルを処理しています。各ファイルの処理にはかなりの時間がかかります。問題は次のとおりです。ファイルを処理するときに、未知の問題（ウイルス対策またはその他の問題の可能性があります）が原因で、Javaプログラムから入力ファイルにアクセスできないため、「アクセスが拒否されました」と最終的に「java.io」が表示されます.FileNotFoundException".

考えられる解決策の 1 つは、例外が発生するたびに関数を呼び出してファイルを再度処理することですが、この関数はディレクトリとファイルを再帰的に処理する再帰関数であるため、ファイル名で関数を呼び出すことは困難です。別の方法を教えてください。

こんにちは私はVB.NETで、レコードファイルを読み取ってユーザーに出力するコンソールアプリケーションを構築しています。すべてのレコードをコンソールに出力するプログラムを入手しましたが、検索機能が機能していないようです。

ユーザーがレコード番号を入力し、プログラムがテキストファイルでその特定のレコードを検索して、コンソールに出力するようにします。

参考までに、レコードの読み取り機能はここに残しておきます。

レコードの読み取り機能：

入力ファイルを 1 行ずつ読み込みたいのですが、このファイルには不明な終了文字があります。

エディターvimもそれを認識していません。この文字を次のように表し ^A、すぐに新しい行の文字で開始します。同じですperl。これらの奇妙な行末文字を無視するため、すべての行を一度にロードしようとしました。

この文字を perl の行末として設定するにはどうすればよいですか? hexそのための特別なモジュールを使用したくありません (厳密なシステムのため)。行末の文字を (おそらくコードで) 定義したいだけです。

別のオプションは、ファイルを別のファイルに変換し、適切な行末文字を使用することです (それらを置き換えます)。sed簡単な方法（入力ファイルのようなもの）で作成できますか？ただし、すべて perl で行う必要があります。

可能です？

今、私の読書部分は次のようになります。

私は完全なHadoopn00bです。私は最初のHadoopプロジェクトとして、次のことを解決しようとしています。アマゾンS3バケットに100万以上のサブフォルダーがあります。これらの各フォルダには2つのファイルがあります。ファイル1には次のようなデータがあります。

File2には、次の形式で顧客の情報があります。

この同じパターンが、バケット内のすべてのフォルダーで繰り返されます。

このすべてのデータをHDFSに書き込む前に、次のようにFile1とFile2を結合します。

参加ファイル：

フォルダーごとにこれを実行してから、この結合されたデータセットをHDFSにフィードする必要があります。Hadoopでこのようなことをどのように達成できるかを誰かが指摘できますか？正しい方向へのプッシュは大歓迎です。

いくつかのファイルをログに記録するクローラー プログラムがあります。サーバー上で何らかのエラーが発生し、クローラーが大量のログ ファイルを作成することがありますが、これは何らかの方法で解析できません。そのため、ログ ファイルの最後にある約 1000 文字を読み取り、メッセージを表示する簡単なプログラムを作成したいと考えました (クローラーがまだそのファイルに書き込みを行っている場合でも)。これにより、クローラーを閉じずに問題を解決できます。

バイナリ ファイルの最後の 32 文字に情報を書き込みたい。しかし、writeInfo 関数を呼び出すと、コンテンツ全体が削除されます。書き込む前にデータを読み取ることはできますが、この関数で書き込んだ後は、書き込むのではなく、コンテンツ全体を削除します。

あなたが助けてくれることを願っています、ありがとう