問題タブ [filereader]

私が働いている私の場所では、ファイルごとに100万行を超えるファイルがありました。サーバーのメモリは10GBを超え、JVMは8GBですが、サーバーがしばらくハングして他のタスクを停止することがあります。

コードのプロファイルを作成したところ、ファイル読み取りメモリの使用量がギガバイト単位で頻繁に増加し（1GBから3GB）、その後突然正常に戻ることがわかりました。この頻繁な高メモリ使用と低メモリ使用により、サーバーがハングするようです。もちろん、これはガベージコレクションによるものです。

パフォーマンスを向上させるためにファイルを読み取るには、どのAPIを使用する必要がありますか？

今、私はBufferedReader(new FileReader(...))これらのCSVファイルを読み取るために使用しています。

プロセス：ファイルをどのように読み取っていますか？

1. 私はファイルを1行ずつ読みます。
2. すべての行にはいくつかの列があります。それに応じて解析するタイプに基づいて（doubleのコスト列、intのvisit列、Stringのキーワード列など）。
3. 適格なコンテンツ（visit> 0）をHashMapにプッシュし、最後にタスクの最後にそのMapをクリアします

アップデート

私はこの30または31ファイル（1か月のデータ）の読み取りを行い、適格なものをマップに保存します。後でこのマップを使用して、さまざまなテーブルの犯人を取得します。したがって、読み取りは必須であり、そのデータの保存も必須です。HashMapの部分をBerkeleyDBに切り替えましたが、ファイルを読み取るときの問題は同じか、さらに悪いです。

これがあまりにも単純な質問である場合は申し訳ありませんが、%20 の検索が気に入らなかったため、Google で検索できませんでした。

getFile() メソッドを使用して処理用に開きたいファイルのパスを取得する URL があるとします。特定のファイルがスペースを含むディレクトリに存在する場合、返されるパスには、スペースがあるべき場所に %20 が含まれます。

FileReader は提供されたパスを使用できるようになりますか、それとも %20 をスペースに置き換える必要がありますか?

2 つのファイルのデータを比較する必要があるプログラムを Java で作成しています。ファイル 1 の各行をファイル 2 の各行と照合し、一致が見つかった場合は、それらを 3 番目のファイルに書き込む必要があります。ファイル 2 の最後まで読み取った後、ポインターをファイルの先頭にリセットするにはどうすればよいですか?

JARファイルにファイルがあります。1.txtたとえば、です。

どうすればアクセスできますか? 私のソースコードは次のとおりです。

このコードをどのように記述しますか?

この特定の質問は、Explorer (あなた)、Monsters (触れると死ぬ)、Treasures である占有者の配列リストを持つ迷路ゲームに関するものです。ゲームは、これらの居住者が存在する正方形のオブジェクトのブロックを使用します。特にやりたいことは、迷路の現在の構成をエクスポートしたり、txt ファイルとしてインポートしたりできるファイルの読み取りです。

仕様: 最初に Maze の行と列を読み取り、適切なサイズの Square[][] を作成します。次に、すべての正方形/占有者を構築して読み取ります。

Squares の場合、Maze は最初に線が「Square」で始まることを判別します。次に、Square の行と列を読み取り、その情報を使用して Square オブジェクトを構築します。最後に、スキャナーの残りの部分を Square の toObject メソッドに渡し、自身を初期化できるようにします。

他のすべての占有者の場合、Maze は占有者の種類を判断し、Maze のみを取るコンストラクタを使用して適切なオブジェクトを構築します。Scanner から行または列を読み取るのではなく、新しく作成されたオブジェクトの toObject メソッドに Scanner を渡すだけです。

これは私がこれまでに持っているコードで、間違っている可能性があります:

出力例は次のとおりです。

このセクションには何を書きますか？

for ループを使用して次のファイルを読み取る方法: (ループはファイル名の文字を無視できますか?)

abc-1.TXT
cde-2.TXT
ser-3.TXT
wsz-4.TXT
aqz-5.TXT
iop-6.TXT

このループの最初に何を追加する必要がありますか??

FileReader クラスに問題があります。

通過する行のオフセットを指定するにはどうすればよいですか? また、停止するタイミングをどのように伝えるのですか? .txt ファイルの各行を通過させたいとしましょう。

どうすればいいですか？現在 ReadLine() を使用していますが、それでオフセットを指定する方法はないと思います。

迅速なヘルプは非常に高く評価されます。ありがとう。

C++ コードの一部を c に移植しようとしています。私は次の構造を持っています

次に、何百ものこれらのオブジェクトをインスタンス化し、すべてのファイルが eof になるまで、ファイルごとにいくつかの「read_until()」を使用してそれらを繰り返し処理します。

私が思いつくことができる唯一の解決策は、FILEポインターの配列を作成し、クラスのすべてのプライベートメンバーデータで同じことを行うことです。

しかし、これは非常に面倒です。クラスの機能を関数ポインターとして実装できますか?

すべてのファイルをメモリに保存するにはファイルが大きすぎるため、すべてのファイルからすべてを読み取ることは現実的ではありません ありがとう

このコードを実行すると、txt ファイルの最後の文字のチャンクが読み取られ、rates[0] に配置され、1 ～ 9 で null が固定されます。ファイルの最後を最初に読み取る理由がわかりません。txt の内容は以下のとおりです。

配列に記録しているのは 60.20 だけです。どんな助けでも大歓迎です。このコードを実行した結果を提供できると思います。

アプリケーションが一連のファイルを処理する必要がある状況があり、この機能を同期的に実行するのではなく、マルチスレッドを使用してワークロードを異なるスレッドに分割したいと考えています。

作業の各項目は次のとおり
です。 1. ファイルを読み取り専用で開く
2. ファイル内の
データを処理する 3. 処理されたデータをディクショナリに書き込む

各ファイルの作業を新しいスレッドで実行したいですか? これは可能で、ThreadPool を使用するか、「作業」の各項目が 30 ミリ秒しかかからないことを念頭に置いて新しいスレッドを生成することをお勧めしますが、何百ものファイルを処理する必要がある可能性があります。

これをより効率的にするためのアイデアは大歓迎です。

編集: 現時点では、これを処理するために ThreadPool を使用しています。処理するファイルが 500 個ある場合、ファイルを循環し、QueueUserWorkItem を使用して各「処理作業単位」をスレッドプールに割り当てます。

これにスレッドプールを利用するのは適切ですか?