問題タブ [large-files]

一部のマシン間で大きなファイルを同期する必要があります。ファイルのサイズは最大6GBです。同期は数週間ごとに手動で行われます。ファイル名はいつでも変更される可能性があるため、考慮に入れることはできません。

私の計画では、宛先PCとソースPCでチェックサムを作成してから、まだ宛先にないチェックサムを含むすべてのファイルを宛先にコピーします。私の最初の試みは次のようなものでした：

問題はランタイムでした：
-1,6GBファイルのSHA256の場合->20分-1.6GBファイル
のあるMD5の場合->6.15分

チェックサムを取得するためのより良い（より速い）方法はありますか（おそらくより良いハッシュ関数を使用して）？

大きすぎない 2 MB のファイルがあり、それを検索できるように sqlite データベースに入れたいと考えています。CSV 形式のエントリは約 30K あり、1 行に 6 つのフィールドがあります。私の理解では、iPhone 上の sqlite はこのサイズのデータ​​ベースを処理できます。

私はいくつかのアプローチを取りましたが、それらはすべて 30 秒を超える遅さでした。私はもう試した：

1) C コードを使用してファイルを読み取り、フィールドを配列に解析します。

2) 次の Objective-C コードを使用してファイルを解析し、sqlite データベースに直接配置します。

何か不足していますか？ファイルをデータベースにすばやく入れる方法を知っている人はいますか?

または、ファイルを sqlite に直接読み込むことができる sqlite 形式に変換することは可能ですか?

または、ファイルを plist に変換して Dictionary にロードする必要がありますか? 残念ながら、2 つのフィールドを検索する必要がありますが、Dictionary は 1 つのキーしか持てないと思いますか?

ルイス、あなたの応答に感謝します。

アプリの開始時に 1 回だけデータベースにデータを書き込みたいと述べたはずです。その後、データベースの読み取りのみを行う必要があり、書き込みは必要ありません。

ビルド プロセスの一環として、CSV ファイルから直接 sqlite3 データベースを生成する方法を教えてください。

この (古い) スプレッドシートのデータをクリーンアップしようとしていて、一重引用符や二重引用符、HTML タグなどを削除する必要があります。問題は、25 列の 3000 行のファイルであり、私が試したすべてのスプレッドシート アプリ (NeoOffice、MS Excel、Apple Numbers) がチョークすることです。難しい。

MySQLにインポートするためにこれをクリーンアップする方法について何かアイデアはありますか? 明らかに、各レコードを手動で行ごとに調べることができますが、可能であればそれを避けたいと思います。同様に、インポート時にそれを処理する PHP スクリプトを作成することもできますが、サーバーを死のスパイラルに陥らせたくありません。

ブラウザで使用するテキストファイルビューア（ディレクトリツリーではなく、実際のファイルの内容）を作成する必要があります。大きなファイルを表示するために使用されます。各ページにファイルの一部のみが表示されるのに対し、ユーザーが実際にファイルを参照できるようにしたいのです。つまり、前のページと次のページのボタンです。

2つの質問：

• とにかく、POST（または何か）を介してファイル記述子を渡して、各ページですでに開いているファイルから読み取りを続け、最初からやり直さないようにすることはできますか（再び-巨大なファイル）
• ファイルを逆方向​​に読み取る方法はありますか？ファイルをさかのぼって閲覧するのに非常に便利です。

他の実装のアイデアは大歓迎です。ありがとう

ブースト iostreams は、セミポータブルな方法で大きなファイルへの 64 ビット アクセスをサポートしていると思われることを読みました。彼らの FAQ には64 ビット オフセット関数が記載されていますが、それらの使用方法の例はありません。大きなファイルを処理するためにこのライブラリを使用した人はいますか? 2 つのファイルを開き、中間をシークし、一方を他方にコピーする簡単な例は非常に役に立ちます。

ありがとう。

配信したい比較的大きなファイル (Flash ムービー) がいくつかあります。プロジェクト内のどこに配置すればよいですか? それらは多くのスペースを占有するため、.war ファイルをエクスポートするたびにそれらをエクスポートしたくありません。

会社の従業員の給与小切手を作成するための単純な PHP アプリケーションを作成しました。db と app の間の相互作用は素晴らしく、データはキャッシュされ、パフォーマンスは十分に高いです。だから問題は何ですか？

エンドユーザーがワンクリックで小切手全体を印刷できるようにする必要があります。このような大きな HTML ファイルを印刷することは、ブラウザのクラッシュに対処しないと不可能です。

ですから、小切手をリストして印刷するための解決策/提案があれば感謝します。

印刷を使用してファイルに出力するときに、ファイルのサイズが4 GBに制限されるのはなぜですか？ストリーミング出力を使用すると、任意のサイズのファイルを生成できるはずです。

更新：ijwとChas。オーエンスは正しかった。F：ドライブはNTFSでフォーマットされていると思いましたが、実際にはFAT32ファイルシステムを使用していました。別のドライブで試してみたところ、20GBのテキストファイルを生成できました。この場合、制限はありません。皆様、お詫び申し上げます。

詳細：ここでStack Overflowに関する質問に答えるために調査しているときに、Perlを使用して非常に大きなテキストファイルを読み取るパフォーマンスを測定する必要がありました。読み取りをテストするために、大きなテキストファイルが必要でしたが、小さなPerlスクリプトを記述してテキストファイルを生成し、予期しない問題が発生しました。出力ファイルは、4GBに達するまで大きくなります。Windows Explorerによると、スクリプトの1回の実行でのサイズは4294967269バイト（およびディスク上の4294967296バイト）でした。スクリプトは続行されますが、ファイルは大きくなりません。

重要なのは、次の数だけです。

ここで、$ lineは、末尾に「\n」が付いた長い文字列です。線の長さは設定可能であり、この問題にとって重要ではありません。例：250文字または34000文字。NUMBERS_OUTFILEは、次のコマンドで作成されたファイルハンドルです。

ドライブF：NTFS形式であり、オペレーティングシステムを搭載したディスクとは別の物理ハードディスク上にあります。

理由は何ですか？回避策はありますか？

完全なPerlスクリプトとBATドライバースクリプト（preタグでフォーマットされたHTML）。2つの環境変数MBSIZEとOUTFILEが設定されている場合、PerlスクリプトはWindows以外のプラットフォームで変更せずに実行できるはずです。

プラットフォーム：ActiveStateのPerl 5.10.0; 32ビット; ビルド1004。WindowsXPx64SP2、8 GB RAM、500GBグリーンキャビアハードディスク。

perl -V言う：

ファイルを小さなチャンクでアップロードする WSSv3 アプリケーションを作成しました。すべてのデータが到着したら、パフォーマンス上の理由から一時的に SQL 2005 のイメージ データ型フィールドに保持します**。

アップロードが終了すると問題が発生します。WSSv3 オブジェクト モデルを使用して、SQL Server から SharePoint ドキュメント ライブラリにデータを移動する必要があります。

現在、次の 2 つのアプローチが考えられます。

と

このタスクを正常に完了する他の方法はありますか?

** パフォーマンス上の理由: すべてのチャンクを SharePoint に直接書き込もうとすると、ファイルが大きくなる (>100Mb) につれてパフォーマンスが低下することに気付くでしょう。

私は現在、ゲノムファイルから通常サイズの配列を抽出しているバイオインフォマティシャンです。一部のゲノム ファイルは十分に大きいため、メインの git リポジトリに入れたくありませんが、抽出したシーケンスを git に入れています。

gitに「これは大きなファイルです。ファイル全体を保存しないでください。チェックサムを取得して、そのファイルが見つからないか変更されているかどうかを知らせてください。」

それが不可能な場合は、大きなファイルを git-ignore するか、この質問で提案されているように、それらをサブモジュールに保存する必要があると思います。