問題タブ [large-files]

WindowsXPコンピュータとLeopardを実行しているMacの間でDVDイメージファイルを転送する必要があります。

マシンは高速ネットワークを介して接続されておらず、使用したいUSBドライブがいくつか浮かんでいます。たとえば、8 GBフラッシュ、60 GB、250GBのUSBハードドライブです。

ファイルが4GB（FAT32の単一ファイルの最大サイズ）を超えることがあり、LeopardのNTFSではうまくいきませんでした。HFSのようなMacファイルシステムをサポートするXP/Vista用のドライバーを知りません。

ここでどのファイルシステムが最適かについて、誰か提案がありますか？

ありがとうトム

複雑な xpath クエリの実行を含め、C# でかなり大きな XML ファイル (ここでは、1 ギガバイトを超える可能性がある) に対して何らかの処理を行う必要があります。私が抱えている問題は、System.XML ライブラリを介して通常これを行う標準的な方法では、何かを実行する前にファイル全体をメモリにロードするのが好きであり、このサイズのファイルでメモリの問題が発生する可能性があることです。

ファイルを読み取って、ファイルに含まれるデータを照会するだけで、ファイルを更新する必要はまったくありません。一部の XPath クエリは非常に複雑で、いくつかのレベルの親子型関係にまたがっています。これが、データをブロックとしてメモリにロードするのではなく、ストリーム リーダーを使用する機能に影響するかどうかはわかりません。

これを機能させる方法の 1 つは、ストリーム ベースのアプローチを使用して単純な分析を実行し、XPath ステートメントを XSLT 変換にラップして、後でファイルに対して実行できるようにすることです。ただし、少し複雑に思えます。

または、XPath クエリが実行されない要素がいくつかあることを知っているので、ドキュメントを元のツリー構造に基づいて一連の小さなフラグメントに分割できると思います。あまりにも多くの混乱を引き起こします。

ここで私の目的を説明しようとしたので、一般的なアプローチに関して完全に間違ったツリーを吠えている場合は、皆さんが私を正しく設定できると確信しています...

私は巨大なデータ ファイルを使用します。時には、これらのファイルの行数だけを知る必要がある場合もあります。通常は、ファイルを開いて、ファイルの最後に到達するまで 1 行ずつ読み取ります。

それを行うためのよりスマートな方法があるかどうか疑問に思っていました

大きなファイルをアップロードするとき、PostedFile.InputStream はいつ利用できますか?

Stream を別のプロセスに渡したいのですが、大きなファイルがアップロードされている場合は、ファイル システムに書き込むことなく Stream をその新しいプロセスに直接渡すことができることを願っています。プロセスやアップロードには時間がかかる可能性があるため、すぐに InputStream の読み取りを開始できるかどうか、またはファイル全体がサーバーに転送されるまで待たなければ処理できないかどうかを考えています。

より一般的な質問は、ファイルのアップロードが関係する場合の POST リクエストのライフサイクルは何ですか?

バージョンの下にいくつかの大きなファイル (いくつかのギグ) を保持する必要があります。

ファイルのすべてのバージョンをバージョンの下に保持することはできません。ある時点で、VCS の大きなファイル バージョンから削除できるようにしたいと考えています。

バージョン管理下に置きたいファイルは、大きな .zip ファイルまたは ISO イメージです。これらのファイルには、実行可能なソフトウェアまたはデータ (地震データ、SAR 画像、GNSS データ) が含まれている場合があり、これらは私の会社のソフトウェア サプライヤによって提供されます。

どのコントロール バージョン システムを使用できますか?

~74000 の XML ファイルを含む大きな zip ファイルを抽出する Java クラスを作成しようとしています。Java zip ライブラリを使用して解凍しようとすると、次の例外が発生します。

java.util.zip.ZipException : ZIP ファイル内のエントリが多すぎます

残念ながら、プロジェクトの要件により、私に届く前に zip を分解することができず、解凍プロセスを自動化する必要があります (手動の手順はありません)。java.util.zip またはサードパーティの Java zip ライブラリを使用して、この制限を回避する方法はありますか?

ありがとう。

最大サイズ 10MB の大きなファイルを MySQL データベースにアップロードしたいと考えています。を使用し.htaccessて、PHP 自身のファイル アップロード制限を "10485760" = 10MB に変更しました。最大 10MB のファイルを問題なくアップロードできます。

しかし、ファイルのサイズが 1 MB を超えると、ファイルをデータベースに挿入できません。

file_get_contentsすべてのファイル データを読み取り、LONGBLOB フィールドに挿入される文字列として挿入クエリに渡すために使用しています。

print_r($_FILES)ただし、ファイルが正しくアップロードされていることを確認するために使用できますが、1 MB を超えるファイルはデータベースに追加されません。6 時間以内に必要となります。だから、助けてください！

非常に大きな CSV ファイルがあり、それを解析するアプリを作成する必要がありますが、6GB を超えるファイルを使用してテストするのは面倒です。ファイル全体を読み込まずに最初の 100 行または 2 行を抽出する簡単な方法はありますか記憶に？

ファイルは Debian サーバー上にあります。

I have some really large files for example 320 MB tif file with 14000 X 9000 pixels.

The operations I need to perform are basically scaling the images to get smaller versions of it and breaking the image into tiles.

My code works fine with small files and I use the .Net Bitmap objects but I will occasionally get Out of Memory exceptions for larger files.

I've tried using the FreeImage libraries FreeImageBitmap but have the same problems.

I'm using something like the following to scale the image:

Ideally I'd like a third party library to do all the hardwork, but if you have any tips or resources with more information I would appreciate it.