問題タブ [file-processing]

PHPを使用してファイルにテキスト行を追加または削除する方法はありますか？

私は特定のウェブホスティングスタック用のホスティングコントロールパネルを作成中です。ファイルシステムにアクセスするための最小限の要件でファイルに変更を加えられるようにしたいので、全体を書き直す必要はありません。構成オプションを追加または削除するファイル。

ファイルを取得して、文字列パターンの最初の出現をファイルの完全な行として見つける必要があります。

そして、一致した行からファイルの最後まで新しいファイルを作成したいと思います。

私はperlがこれを行うための良い方法だと思いますが、私はperlの人ではありません。あるいは、sedが良い方法ですか？

Unixでこれを確実に達成するための簡単な方法を提案してください。

バイナリファイルの処理に使用する小さなツールを作成しました。ファイルの読み取りと処理に関連するすべての関数はテンプレート化されており、次のようになっています。

テンプレートパラメータTは、読み取られて1つのアイテムとして扱われるデータのサイズを決定するために使用されます。正確に言う方法がわからないので、小さな例です（これらは、16進エディターで見られるバイナリデータであることに注意してください）。ファイルの内容：

Tunsigned charの場合、アイテムは次のとおりです。unsigned intの場合、アイテムは次のとおりです。double のBE EF 12 34 DE AD 56 78
場合：TBEAF1234 DEAD5678
TBEAF1234DEAD5678

（ここでunsigned charは、1バイト、unsigned int4バイト、double8バイトの大きさであると想定していることに注意してください。）TSTLコンテナーも頻繁に使用するため、STLコンテナーにも使用されます（ベクトル、マップ、およびリストは、ファイルの処理に関連する関数）。組み込みのデータ型（char、intなど）ですべてが完全に正常に機能します。

さて、私の問題は何ですか。1、4、8とは異なるサイズで作業できるようにしたいと思います。たとえば、16、32、さらには6、10、14などです。私が知る限り、これらのサイズの組み込みタイプはありません。どうすればこれを達成できますか？私の主な関心事は、STLコンテナー内のデータが必要であり、たとえばsort（）を使用することです。POD構造は機能しますか？読み取りには主にC関数を使用していることに注意してください（ここにはストリームはありませんが、memcpyとmemcmp、freadなどがあります）。

これ以上コードを提供しないことをお詫びします。現在、予備のラップトップを使用しています。しかし、私はそれ以上のコードは必要ないはずだと信じています。もしそうなら、私は明日それを提供します。

行末に一意のIDを持つ行を削除したい。行を削除するには？PHPにsedまたはawkの実装はありますか? 私のファイル構造は次のとおりです

上記の例では、一意の ID は各行の末尾にあり、「#」の後に整数の ID 値が続きます。一意のキーで識別して行を削除する方法は? ありがとう。

最初の2行をスキップして（3つのファイルを読み取ってから）保存し直そうとしています（これはすでに完了しています。残っているのは行スキップだけです）

これを行う方法はありますか？

このかなり奇妙な問題の詳細を教えてください。

処理するテキストファイルは非常に大きく、780MBであり、大きくなる可能性があります。このファイルの処理は.NETWebServiceで行われ、Asp.Net Webサイトクライアントから要求が送信されて処理が開始され、完了するとWebサイトに戻ります。

ファイルがFTP経由で読み取られ、約1分で処理される前。現在、ファイルはネットワーク共有に移動されていますが、.Net WebServiceがファイルを処理しようとすると、スレッドは中止されます。

自分のマシンで.netwebServiceを実行すると、処理は正常に行われ、完了します（非常に遅いですが）。.net WebサービスがWebサーバー（IIS 6.0でホストされている）に配置されると、スレッド中止の例外が発生します。

何か案は？

Objective-CはCのスーパーセットfopen/fread/fwrite/fprint...なので、Cと同じように使用できると思います。

それは、Objective-Cに独自のファイル処理機能がないことを意味しますか？

毎日約 3000 個の新しい csv ファイルが入ってくるフォルダーがあり、それぞれに 50 ～ 2000 行の情報が含まれています。

現在、これらのファイルを一度に 1 つずつ取得し、各行を 1 つずつ取得してストアド プロシージャに送信し、コンテンツをデータベースに挿入するプロセスが用意されています。

これは、1 日の間に、次の 3000 ファイルが到着する前に 3000 ファイルを処理するのに苦労する可能性があることを意味します。

私はこのプロセスを改善しようとしており、次のアイデアがありました

• C# 4.0 の新しい Parallel 機能を使用して、複数のファイルを一度に処理できるようにし、引き続き 1 行ずつストアド プロシージャに渡します。
• ファイル内のすべての行を一度に挿入できる新しい一時データベース テーブルを作成し、一時テーブルに新しく追加された行に対してストアド プロシージャを呼び出します。
• プロセスを 2 つのタスクに分割します。1 つのジョブはファイルから一時データベース テーブルにデータを読み取り、もう 1 つは一時テーブルの行を処理します。

これを行う方法について他のアイデアはありますか？現在、ファイルごとに最大 20 秒かかる場合があります。このパフォーマンスを大幅に改善したいと考えています。

たとえば、次のようなテキスト ファイルがあります。この作品の思い出を残したい。

4 台のサーバーのクラスターがあります。ファイルは、多数の論理ドキュメントで構成されています。各ファイルはワークフローとして開始されます。したがって、要約すると、3,00,000 もの論理ドキュメントを含むことができる物理入力ファイルごとに、ワークフローがサーバー上で実行されます。任意の時点で、80 のワークフローがクラスター全体で同時に実行されています。ファイル処理を高速化する方法はありますか? ファイル分割は良い代替手段ですか? 助言がありますか？すべてが Tomcat サーブレット エンジンで実行される Java ベースです。