問題タブ [purge]

時系列データをカサンドラに毎日保存しています。2 日以上経過したデータを毎日アーカイブ/パージしたいと考えています。Hector API を使用してデータを保存しています。データが 2 日以上経過している cassandra データを毎日削除する方法を教えてもらえますか? データを削除する日数は構成可能であるため、cassandra 行に TTL アプローチを使用することは現実的ではありません。現在、テーブルにタイムスタンプ列はありません。タイムスタンプ列を追加する予定です。しかし問題は、この新しい列は主キーの一部ではないため、timestamp だけを where 句で使用できないことです。ご提案をお願いします。

一部の情報をファイルにキャッシュする python スクリプトがあります。ファイルが存在する場合は再利用されます。そうしないと、スクリプトは他の関数を呼び出して、そのようなファイルを生成するのに時間がかかります。ファイルの名前には特定のパターンがあり、それらはすべて $WORKING_DIRECTORY に保存されます

このダミー関数は異なるパラメーターで複数回呼び出されるため、大量のファイルが生成されます。ディレクトリのサイズを適度に保ち、ファイル内の情報を比較的最新の状態に保ちたいと考えています。したがって、ディレクトリのサイズにTHRESHOLDを設定したいと思います。制限に達すると、ディレクトリのサイズが THRESHOLD の半分になるまで、最も古いファイルを削除します。

私の現在の解決策は次のとおりです。

これは確かに機能しますが、purge の呼び出しはほとんどの場合不要です。これは、1000 回呼び出した後に 1 回しか THRESHOLD に到達しないためです。その上、ファイル数が膨大な場合、ディレクトリの get_size も時間がかかる可能性があります。

問題は、get_size を最適化し、パージ ロジックを現在のダミー関数に統合するにはどうすればよいかということです。それを行うための良いPythonicの方法はありますか? または私が使用できるパターン？ありがとう

タイム ウィンドウ パージを使用して無限ストリームで重複を除外するにはどうすればよいですか? 私は無限のスペース/ラムを持っていません.2秒後（ローカルクロックで）、発生する可能性のある重複が発生することを知っています。これは、2 秒後に古いデータを破棄 (パージ) できることを意味します。

タイム ウィンドウ パージを使用した無限ストリームでの重複のフィルタリング。

この質問で重複を削除する方法に対する優れた回答を得ました (Till に感謝します): apache flink 0.10 unbounded input dataStream から複合キーの最初の出現を取得するには?

しかし、2秒後（現地時間）に古いデータを破棄するようにflinkに指示する方法がわかりません。

flink 0.10でこれを行うにはどうすればよいですか?

どうもありがとう！！！

重複を削除するがパージしないステートメントは次のとおりです。

コンパイルできない.timeWindow(Time.minutes(1), Time.seconds(30))後に追加すると。keyBy(0, 1)

HTTP 動詞 PURGE は冪等ですか? 同じ PURGE リクエストを 2 回送信すると、2 回目に 200 を受け取りますか?

メッセージをウサギのキューに発行する前に、Varnish キャッシュを無効にするマイクロサービスがあります。パージが失敗した場合、ログに記録して実行を続行する必要があります。

キュー コンシューマは、Varnish キャッシュからリソースの最新のステータスを取得する必要があります。最初のマイクロサービスからの最初のパージが成功した場合、2 番目のマイクロサービスからの新しいパージ要求 (実際にニスからリソースを要求する前) は成功を返しますか?

Windows マシンからフォルダーを完全に削除するユーティリティを作成したいと思います。これは、どのプログラミング言語からでも簡単に実行できます。

しかし、私の課題は、削除されたフォルダーは市場のどのツールからも回復できないということです。

どうすればそれが可能になるか教えてください。つまり、c、c++、C#、または Java を使用します。

ありがとう、ラクシュミラル・メナリア

次のような Maven プロジェクト構造があります。

Aに依存するB

どちらも他のライブラリにさまざまな依存関係があります

これをビルドすると問題なく動作しますが、ここでmvn clean install説明されているようにすべての依存関係を削除しようとすると、

への依存関係を解決できないというエラーが表示されますB:jar:snapshot-version。

私の現在の解釈では、実際のビルドでBは最初にビルドを取得して解決できますが、パージ中は何もビルドされないため、解決は失敗します。しかし、プロジェクトはそこにあり、その依存関係はパージされるはずです。どうすればこれを修正できますか?

何も変わらないようです。

私はさらに別の python パージ スクリプトを書いています。これは非常に古い bash スクリプトを大量の find -delete に置き換えており、ビデオ バックエンドを消去するのに最大 9 時間かかります。

私はそれらがスタック上またはGoogleの右にたくさんあることを知っていますが、私にはいくつかの制約があり、貧弱/非効率的なコードを見つけたものを書く必要がありました。

次のディレクトリ構造を検討してください。

/data/channel1/video_800/0001/somefile_800_001.ts
/data/channel1/video_800/0001/somefile_800_002.ts
/data/channel1/video_800/0002/somediffile_800_001.ts
/data/channel1/video_800/0002/somediffile_800_002.ts
/データ/channel1/video_800.m3u8
/data/channel1/video_900/0001/someotherfile_900_001.ts
/data/channel1/video_900/0002/afile_900_001.ts
/data/channel1/video_900/0003/bfile_900_001.ts
/data/channel1/video_900/0003 /cfile_900_001.ts
/data/channel1/video_900.m3u8

/data/channel2/video_800/0001/againsomefile_800_001.ts
/data/channel2/video_800/0001/againsomefile_800_001.ts
/data/channel2/video_800.m3u8

/data/sport_channel/video_1000/0001/somefile.ts /data/sport_channel/video_1000/0001/somefile2.ts

私が最初に興味を持ったのは、チャネル*とスポーツ*のルールがあるため、チャネル名です。

2 つ目は、ビットレートに等しいビデオディレクトリの終わりです... 800、900、1000 は、保持日数が異なる可能性があるためです。

最後に、すべてを調べて、ビットレートと拡張子に基づいてファイルを削除します。

次のコードは機能しますが、非常に複雑であり、あまりPythonicではないと確信しています。この場合、私が最も気にかけているのはパフォーマンスであるため、これを行うためのより効率的な方法があると確信しています。for ループ内に for ループをスタックすると、設計が不十分なだけでなく、pymode で「find_files」が複雑すぎる [mccabe] というメッセージが表示されます。

** コード例から remove 関数を除外しましたが、os.rmdir と os.remove を使用することを除いて、単純な試行です。

コードを改善するためのすべての提案を受け入れます。

ありがとう！