私の会社では、プロセス データの大規模な時系列データベースを多数維持しています。疑似中央の場所にサブセットのレプリカを実装します。ラップトップからデータにアクセスします。疑似中央サーバーへの内部 WAN を介したデータ アクセスにも、かなりのコスト (時間) がかかります。
ラップトップでデータ要求をローカルにキャッシュして、2 回目にアクセスしたときに実際にローカル データベースから取得したいと考えています。
キャッシュを維持するためにラップできるかなり醜いクライアント側 DAO がありますが、「公式」クライアント アプリケーションがキャッシュと簡単に通信できるようにする方法がわかりません。私は独自の「クライアント」グラフ作成/プロット システムを自由に作成でき、データ マイニングを実行するカスタム アプリケーションを既に実装しています。カスタム アプリケーションはデータを .csv ファイルにダンプし、非常にアドホック ベースで手動で移動します。
この種のキャッシュ/同期化への最良のアプローチは何ですか? キャッシュを実装できるツールは何ですか?
詳細については、私が見積もった生データセットは、年間約 5 ～ 8Tb の RAW 時系列データであり、データの少なくとも半分は非常に圧縮可能です。私はローカルに数百Mbをキャッシュしたいだけです。データに対してアドホック クエリが実行されると、データの非常に小さなチャンクに対して非常に繰り返しが多くなる傾向があります。