問題タブ [archiving]

注文を処理して保存するアプリケーションがあります。各注文は、価格設定、サイズ設定、色などのさまざまな項目で構成されています。私の質問は、変更される可能性のある基になるデータにデータを結び付けずに、そのデータを長期間保持するにはどうすればよいかです。

たとえば、誰かが5つのもので構成されたものを注文します。それぞれの費用は1ドルで、合計は5ドルです。ただし、将来のある時点で、個々のもののコストは$0.50に変更されます。今、私が古い注文を持ち出すとき、それの総費用は5ドルではなく2.50ドルです。

当初、子テーブルの更新を許可しないことを考えていましたが、価格設定は、顧客が更新したいだけの巨大な価格設定グリッドに基づいており、価格がわずかに変化するたびに新しいものを作成したくないため、実際には実現可能ではありません。 。各料金グリッドの設定には数時間かかり、料金は数日ごとに変更されます。

もう1つの考えは、注文全体をシリアル化し、そこから作業することです。ただし、そのため、システムを更新して何かを変更することは困難です。古い注文は正しく表示されなくなり、システムがクラッシュする可能性もあります。

これはかなり一般的な問題であり、ベストプラクティスの観点を探しています。

自分のサイトでのユーザーのページビューを追跡することに興味があります。トラフィックが急速に拡大しているので、ロボットなどが心配です。また、追跡されたデータをライブで使用してユーザーエクスペリエンスを変更できるようにしたいと考えています（したがって、Googleアナリティクスを使用していますが、この目的には役立ちません） 。

私の情報を保存するための最も効率的な方法は何ですか？これが私の現在の理論です。批評したり、より多くのアイデアを提供してください:)

戦略：ロード時にクライアントからIP、ページURL、ブラウザー/バージョン、タイムスタンプ、参照を収集し、MySQLに行を挿入します。時間またはパフォーマンスに基づいて、テーブルを「アーカイブ」して行を削除するか、cronを介して新しい行を作成する間隔を決定します。

これは安定していますか？

DotnetとSQLServerをバックエンドとして使用するアプリケーションのアーカイブモジュールを開発しています。アーカイブの複数のアプローチから、選択したしきい値までの完全なデータベースを別のミラーリングされたデータベースにアーカイブするカスタムアプリケーションを構築し、アーカイブされたアイテムをソースDBから削除することにしました。これは、リンクサーバー、ジョブ、SSIS、レプリケーションなどからではなく、カスタムアプリケーションから実行する必要があります。

アーカイブの実行ごとに空になり、再度書き換えられるアイテムがいくつかあります。モジュールの構築を開始する前に、ミラーリングされたアーカイブデータベースから外部キー制約を削除して、これらのテーブルを空にして再書き込みしたときに参照整合性違反を回避することを検討していました（制約のみが削除され、列と値はアーカイブに引き続き存在します） DB）。しかし、このアプローチは私には怪しげなようには見えませんが、ちょっと気がかりです。だからここで私はこれに対処するための正しいアプローチは何でしょうか？

最終的な実行可能ファイルにリンクする前に、静的ライブラリにビルドする大量の自動生成コードを含むプロジェクトがあります。gcc/gnat 5.04a を使用します 非常に多くのファイルがあるため、ジョブをバッチに分割し、ar を複数回呼び出してライブラリを構築する必要があります (コマンドラインの長さの制限を回避するため)。

潜在的な速度の改善を探しています。アーカイブが大きくなるにつれて、オブジェクトを追加する前に (更新を) 検索する必要があるため、各バッチにかかる時間がどんどん長くなるようです。これが、古いアーカイブをそのまま更新するよりも、アーカイブを削除する方が速くなる理由のようです。速度を上げるために、フラグ「qcS」を ar コマンドに使用します。マニュアルページによると、「q」（クイック追加する必要があります）は実際には「r」（「置換を使用」）の同義語であり、「c」はアーカイブを作成し（特別なものはありません）、「S」はスキップしますインデックスの生成 (最後に「ranlib」を使用してカバーします。

組み込みツールを使用して、この操作を高速化する便利な方法はありますか? 「クイック追加」モードが機能する場合、それはおそらく私たちが望んでいることですが、残念ながら.

セーブオンapplicationWillTerminateとロードオンを実装しましたapplicationWillFinishLoading。完全なオブジェクト ツリーがあり、すべてがNSCodingプロトコルを実装しており、入力した型を確認しました。

クラスの 1 つには to も保存NSMutableDataされていNSKeyedArchiveます。奇妙なことに、うまくいくこともあれば、うまくいかないこともあります。NSMutableDataの一部のコンテンツがアーカイブを壊すと思われます。

正しい対応するメソッドを使用する bools と int を除いて、すべてのオブジェクトで encodeObject を使用します (encodeBool:forKey:およびencodeInt:forKey:)

より明確にするために、コードは実際に機能します。常にではなく、かなり完全なオブジェクトグラフを再構築できる場合があります。

私が得るエラーメッセージは次のとおりです。

追加: 失敗しているコードNSMutableData、10 MB 以上のコード

self.data のエンコードとデコードを削除すると、常に機能しているように見えます。小さいサイズの self.data でも失敗します。サイズじゃなくて中身の問題？

nsmutabledata を書き込んだときにファイルを開こうとすると、適切なリスト エディターに次のエラーが表示されます。

plutil も次のエラーを返します。

私はファイルシステムをバックアップしている最中であり、メタデータが保存されていることを確認する必要があります（ファイルの所有者と作成時間）。

Pythonのtarfileモジュールは非常に役立ち、ソリューションで広く使用しています。ただし、メタデータを保存しているファイルを使用してtarファイルを作成することはできません（おそらく、これcopyをcopy2行うことができないためです）。

Python内からこの問題にどのようにアプローチしますか？

編集：

コミュニティに明確にするためにtarfile、Pythonのモジュールは、オブジェクトを介してメタデータを格納する手段を提供しTarinfoます。基本的に、Tarinfoオブジェクトはオブジェクトのメンバーであり、Tar必要なすべての情報が含まれています。承認された投稿を参照してください。

ありがとう！

私のアプリケーションでは、java を使用して、sybase と db2 の間、およびその逆、および (db2 から db2 へ、sybase から sybase へ) 内部でデータベース テーブルをアーカイブする必要があります。

私は、パフォーマンス、実装、使いやすさ、およびスケーラビリティの観点から、最善の戦略を理解しようとしています。

これが私の現在のプロセスです-

• 受け入れ可能なパラメーター (java から) を持つソース テーブルと宛先テーブルは、xml 内で定義されます。[実際のクエリはxml内に配置されています.javaからパラメーターが受け入れられる場合があるためです(たとえば、where句の条件の場合)]
• アプリケーションはソースと宛先の構成を読み取り、それらを順番に実行します。
• source が特定のテーブルからデータを削除するだけの場合、または source がストアド プロシージャを呼び出しているだけの場合、destination はオプションになることがあります。
• ソースと宛先の間のデータセットが非常に大きい (数百万)

頭のてっぺんから、複数のソースと宛先の組み合わせ間の依存関係を定義し、それらを複数のスレッドで並行して実行できるように見えます。しかし、これによりパフォーマンスが向上しますか (そうなることを願っています)?

Java を使用したデータ アーカイブ用のオープンソース フレームワークはありますか? 実装側に関する他の考えは本当に役に立ちます。

ありがとう

とてもデリケートな感じがしますが、

zip / tarファイルにバックアップしたいプロジェクトのさまざまなフォルダーがありますが、pycファイルや一時ファイルなどのファイルのバックアップは避けたいと思います。

バックアップする必要のあるPostgresデータベースもあります。

この操作をPythonスクリプトとして実行するためのヒントはありますか？

また、プロセスがプロセス内のリソースを占有するのを防ぐ方法はありますか？

助けていただければ幸いです。

先日、ネットワーク上で大量のデータをアーカイブする必要がありましたが、複数のマシンの能力を利用してプロセスをスピードアップするための即時の方法がないことに不満を感じていました。

分散ジョブ管理システムを作成することは、コマンドライン アーカイブ ツールから飛躍することだと理解しています。

この種の分散パフォーマンス シナリオに対する最も単純なソリューションは何かを考えています。カスタム ツールは常に必要ですか、それとも標準のユーティリティを使用して負荷をより高いレベルで透過的に分散する方法はありますか?

提案をありがとう。

MyClassクラスがあります。インスタンス変数passedInVar1、passedInVar2などがあり、その値は初期化を要求するオブジェクトから渡されます。また、アーカイブからデコードされるインスタンス変数decodeVar1、decodeVar2などがあります。アーカイブがない場合はデフォルト値に設定されます。

Appleによると、

オブジェクトがinitWithCoder：メッセージを受信すると、オブジェクトは最初にメッセージをスーパークラスに送信して（適切な場合）、継承されたインスタンス変数を初期化し、次に自身のインスタンス変数をデコードして初期化する必要があります。

しかし、Appleはまた、クラスには単一の指定された初期化子が必要であると述べています。

これらすべてに対処するための最良の方法は何ですか？