問題タブ [large-files]

Internet Explorer には 4 GB (IE6 では 2 GB) のファイル ダウンロード制限があります。Firefox にはこの問題はありません (サファリはまだテストしていません) (詳細はこちら: http://support.microsoft.com/kb/298618 )

ユーザーが非常に大きなファイル (最大 100GB およびそれを超える) をダウンロードできるサイトに取り組んでいます。

FTP を使用せずにこれを行う最善の方法は何ですか。エンド ユーザーは、HTTP を使用してブラウザからファイルをダウンロードできる必要があります。私が知る限り、Flash や Silverlight がファイルをクライアントに保存できるとは思えません。

これを実現するには、ActiveX または Java アプレットが必要になると思います。MSDN が使用するダウンロード マネージャーのようなもの。

それを行う商用（または無料）コンポーネントを知っている人はいますか？ユーザーが「ブラウザー全体」のダウンロード マネージャー (GetRight など) をインストールする必要はなく、サイトでのダウンロードのみで機能するようにしたいと考えています。

更新:ここに、私がやろうとしていることを明確にするのに役立つ追加情報があります。4GB の制限を超えるファイルのほとんどは、大容量の HD ビデオ ファイルです (ビデオ編集会社向け)。これらはインターネット経由でユーザーによってダウンロードされますが、これはローカル ネットワーク上のユーザーではありません。HTTP 経由でファイルを利用できるようにしたいと考えています (FTP や Bittorrent などを許可しないファイアウォールの内側にいるユーザーもいます)。これは、エンド ユーザーがダウンロードできるファイルのライブラリになるため、1 回限りの大きなダウンロードについては説明していません。は、半定期的にさまざまな大きなファイルをダウンロードします。

これまでのところ、@ Edmund-Tay が提案した Vault が最も近い解決策です。唯一の問題は、4GB を超えるファイルでは機能しないことです (ダウンロードを開始する前に即座に失敗します。おそらく、ファイルのコンテンツの長さによって超過またはオーバーフローする 32 ビット整数を使用している可能性があります)。

問題は IE にのみ存在するため、@spoulson がリンクしている記事のように機能するため、最善の解決策は Java アプレットまたは ActiveX コンポーネントです。ただし、これまでのところ、そのようなことを行うソリューション (マルチパート ダウンロード、再開など) を見つけることができませんでした。

自分で書かなければならないようです。もう 1 つのオプションは、拡張子または MIME タイプに関連付けられた .Net アプリケーション (おそらく ClickOnce) を作成することです。次に、ユーザーは実際に Web サーバーから小さなファイルをダウンロードし、それが exe/ClickOnce アプリで開き、ダウンロードするファイルをアプリケーションに指示します。これが MSDN ダウンローダーの仕組みです。エンド ユーザーは、EXE を 1 回ダウンロード/インストールするだけで済みます。これは、大きなファイルをダウンロードするたびに exe をダウンロードするよりも優れています。

かなり大きなファイル (10 文字で 1 億 5000 万行) があります。これを 200 万行の 150 個のファイルに分割する必要があります。各出力行は、ソース行の最初の 5 文字または最後の 5 文字になります。これは Perl でかなり迅速に行うことができましたが、bash を使用した簡単な解決策があるかどうか疑問に思っていました。何か案は？

利用可能な RAM よりも大きなファイルを処理できる分散バージョン管理システム (git、bazaar、mercurial、darcs など) はありますか?

大規模なバイナリ ファイル (つまり、データセット、ソース ビデオ/画像、アーカイブ) をコミットできるようにする必要がありますが、ファイルの変更時にコミットして更新できるようにするだけで、それらを比較できる必要はありません。

私がこれを最後に見たのは約 1 年前ですが、明らかな候補はどれもこれを許可していませんでした。これらはすべて、速度のためにメモリ内で差分を取るように設計されているためです。これにより、大きなファイルのコードとその他のもの (「アセット管理」ソフトウェアまたは単に rsync とスクリプト) を管理するための VCS が残りました。これは、2 つのディレクトリ構造が重なっているとかなり見苦しくなります。

ローカルのSubversionczarとして、私はすべての人に、巨大なバイナリデータファイルではなく、ソースコードと非巨大なテキストファイルのみをリポジトリに保持するように説明します。おそらく、テストの一部である小さなバイナリファイル。

残念ながら私は人間と仕事をしています！誰かがいつか誤って800MBのバイナリハルクをコミットする可能性があります。これにより、リポジトリの操作が遅くなります。

前回チェックしたとき、リポジトリからファイルを削除することはできません。最新のリビジョンの一部ではないようにするだけです。誰かがその日付またはリビジョン番号のリポジトリの状態を思い出したい場合に備えて、リポジトリはモンスターを永遠に保持します。

そのモンスターファイルを本当に削除して、まともなサイズのリポジトリになってしまう方法はありますか？svnadminのダンプ/ロードを試しましたが、苦痛でした。

したがって、数値データの「非常に大きな」ASCII ファイル (合計でギガバイト) が「多数」あり、プログラムはその全体を少なくとも 1 回は順番に処理する必要があります。

データの保存/読み込みに関するアドバイスはありますか? ファイルをバイナリに変換して、ファイルを小さくし、読み込みを高速化することを考えました。

一度にすべてをメモリにロードする必要がありますか?
そうでない場合、データを部分的にロードする良い方法は何ですか?
Java 関連の効率化のヒントは何ですか?

4 GB 以上のファイルを読み込めるテキスト エディタを探しています。テキストパッドが機能しません。私はそれのコピーを所有しており、そのサポート サイトにアクセスしましたが、それができません。新しいハードウェアが必要かもしれませんが、それは別の問題です。エディターは無料である必要があります。または、費用がかかる場合は 30 ドル以下である必要があります。Windows 用。

つまり、100 MB 以上の大きさです。このようなテキスト ファイルは、編集者の限界を超える可能性があります。

大きな XML ファイルに目を通す必要がありますが、エディターにバグがあるとできません。

助言がありますか？

fopenで非常に適度なサイズのファイルを読み込もうとすると失敗しますPHP。 A 6 meg file周りの小さなファイルは問題ありませんが、チョークします100k。PHP20 GB を超えるファイルを読み取るために、フラグを使用して再コンパイルする必要がある場合があることを読んだことがあり-D_FILE_OFFSET_BITS=64ますが、6 MB のファイルに問題はありませんか? 最終的には、約 100 MB のファイルを読み込む必要があります。小さいファイルでできるように、それらを開いて fgets を使用して 1 行ずつ読み込むことができると便利です。

で非常に大きなファイルの読み取りと操作を行うためのトリック/ソリューションは何PHPですか?

更新: 6 MB のファイルで失敗する単純なコードブロックの例を次に示します。PHP はエラーをスローしていないようで、false を返すだけです。ひょっとして私は非常にばかげたことをしているのだろうか？

別の更新: ご協力いただきありがとうございます。それは信じられないほどばかげたものであることが判明しました - パーミッションの問題です。大きなファイルには許可されていないのに、私の小さなファイルには不可解にも読み取り許可がありました。どっ！

ファイルサイズが 200 MB を超えるファイルを処理するオープン ソースの代替手段 (ultraedit に類似) はありますか?

世界中の 4 つまたは 5 つのサイトで同期を維持する大量のデータがあり、各サイトで約 0.5 テラバイトです。これは、1 日あたり約 1.4 ギガバイトずつ変化 (追加または変化) し、データは 4 つのサイトのいずれでも変化する可能性があります。

データの大部分 (30%) は重複したパッケージ (おそらくパッケージ化された JDK) であるため、解決策には、ローカル マシンにそのようなものが横たわっているという事実を拾い上げ、代わりにそれらを取得する方法を含める必要があります。他のサイトからのダウンロードについて。

バージョン管理の管理は問題ではありません。これはコードベースそのものではありません。

そのようなことに近づくソリューション（できればオープンソース）があるかどうかに興味がありますか？

rsync を使用する私の赤ちゃんのスクリプトは、もはやマスタードをカットしません。より複雑でインテリジェントな同期を行いたいと考えています。

ありがとう

編集：これはUNIXベースでなければなりません:)