問題タブ [large-files]

私はJavaテキストコンポーネントを書いていて、途中で大きなテキストファイルを部分的にロードしようとしています(速度上の理由から)。

私の質問は、テキストが UTF8、Big5、GBK などのマルチバイト エンコーディング形式であるかどうかです。テキストを正しくデコードできるようにバイトを揃えるにはどうすればよいですか?

質問：.NetでXSLを使用して大きなXMLドキュメント（> 200MB）を変換する最良の方法は何ですか？

背景：大きなデータファイルをフィードするアプリケーションがありますが、形式を変更できません。以前は、問題なく小さなデータファイルを翻訳することができました。

もともと私はXMLを文字列として使用していて、メモリがすぐに不足していました。コードを切り替えて、MemoryStreamを処理し、スタイルシートを使用して読み取り、変換し、ファイルストリームを使用して出力のコピーを別の場所に保存します。

スタイルシートを適用すると、アプリケーションが1 GB以上のメモリを消費し、最終的にクラッシュします。

DOMを使用してプログラムでXMLを処理できることは知っていますが、XSLスタイルシートを適用する一般的な方法に固執したいと思います。

XSL変換の処理中にメモリをより適切に管理する方法について誰かが何かアドバイスを持っていますか？以下は、変換を適用しているコードのスニペットです。

C＃またはVBの例は問題ありません。どちらでも使用できます...このアプリは私に受け継がれたものなので、vbに対する批判はありません:) -J

合計約80ギガのファイルの束のスナップショットを作成するための、すばやく、しかしそれほど汚くない方法を探しています。ここでの問題は、ファイルの多くが約1GBの大きさであるということです。

この種のものに最適な無料のバージョン管理システムは何ですか？

ZFSがオプションであることは知っていますが、最初に別のことを試してみたいと思います。

C＃コンソールアプリケーションでHTTP経由で大きなファイル（2 GB）をダウンロードする必要があります。問題は、約1.2 GBを超えると、アプリケーションのメモリが不足することです。

これが私が使用しているコードです：

ご覧のとおり...ファイルを直接メモリに読み込んでいます。HTTPからデータをチャンクで読み戻し、ディスク上のファイルに書き込むとしたら、これを解決できると確信しています。

どうすればこれを行うことができますか？

そのようなタイプの質問がSFに存在することは知っていますが、それらは非常に具体的であり、一般的な提案が必要です。1GBを超えるサイズのユーザーファイルをアップロードする機能が必要です。この機能は、より小さなファイルに対応するアプリケーションに存在する既存のファイルアップロード機能へのアドオンになります。さて、ここにいくつかのオプションがあります

1. HTTPおよびJavaアプレットを使用します。ファイルをチャンクで送信し、サーバーで結合します。しかし、n/wを絞る方法。
2. HTTPおよびFlexアプリケーションを使用します。ブラウザの互換性やその他の環境問題よりも優れていますか？
3. アップロードプロセスを高速化するためのプロトコルとして、HTTPではなくFTPまたはSFTPを使用する

提案してください。

さらに、このアップロードプロセスが他のユーザーのタスクを妨げないようにする必要があります。つまり、他のユーザーの白黒を使い果たしないようにする必要があります。そのようなプロセスを抑制するためにn/wレベルで実行できるメカニズムはありますか？

最終的に、顧客はオプションとしてFTPを使用したいと考えていました。しかし、プログラムでファイルを処理することでの答えもクールだと思います。

c Sharp を使用して大きなコンテンツをディスクに動的に書き込む方法。アドバイスや参考にしていただければ幸いです。

ファイル (カスタム形式と拡張子) を作成して、それに書き込もうとしています。ユーザーがファイルをアップロードすると、その内容がバイト ストリームに変換され、ファイル (filename.hd) に書き込まれます。アップロードされたファイルのインデックス作成は、別のファイル (filename.hi) で行われます。

これは、「filename.hd」ファイルのサイズが 2 GB で、2 GB を超えるとコンテンツを追加できない場合に問題なく機能します。これは私の問題です。

グーグルで調べたところ、FAT 32 Windows ベースのシステム (ほとんどのバージョン) は 2GB のファイル サイズしかサポートしていないことがわかりました。この状況を処理する解決策はありますか?教えてください。

前もってありがとう

PHP で大きな XML ファイルを解析する必要があります。そのうちの 1 つは 6.5 MB で、さらに大きくなる可能性があります。私が読んだ SimpleXML 拡張機能は、ファイル全体をオブジェクトにロードしますが、これはあまり効率的ではない可能性があります。あなたの経験上、最善の方法は何ですか?