問題タブ [anonymize]

オランダの公民館での新しい仕事では、プライバシーに配慮したデータ (市民サービス番号など) を含むデータベースを扱っています。また、彼らは最近 Azure との連携も開始しました。私は話しているうちに慣れてきました。これは初心者の質問かもしれませんが、誰かが私を正しい方向に導いてくれることを願っています:データベースとの直接接続を介してデータを取得し、たとえばハッシュまたはキーファイルを使用して「匿名」にする方法はありますか?パイプラインのどこかに何らかの種類の？パイプラインが .JSON ファイルであり、いくつかの変換を実行できることはわかっています。Azure でこれを行う可能性に興味があります。

**編集**

より明確にするために、できればパイプラインで次のようなコードを書きたいと思います。

後で、このデータベースに列を追加したいと思います。たとえば、この人が住んでいる家にどのような価値があるかなどです。

例

価値

3 つの異なる値がありますが、7 行あります。以下が必要です。データを匿名化したいので。「replacement has 3 rows, data has 7」というエラーが表示され続けます

これは私が使用しているコードです

価値

私たちは、Kafka に依存して、私の会社でイベント ソース システムを構築しています。

GDPR に準拠するには、イベントを更新できる必要があります。

私たちのアイデアは、圧縮機能と廃棄機能を使用することです。

これは、(特定のメッセージを上書きするために) 各メッセージに一意のキーを持たせる必要があるため、デフォルトのパーティショニング戦略を使用できないことを意味しますが、同じ集約で発生するイベントは同じパーティションで終了する必要があります。

これにより、カスタム パーティショナーが作成されます (基本的には、既定のパーティショナーの "ハッシュ モジュロ" ロジックをコピーしますが、メッセージ キーとは異なる値を使用してハッシュを計算します)。

問題は、私たちがポリグロット環境で進化していることです (イベントを発行および消費する php、python、および Java/Kotlin サービスがあります)。

これらすべてのサービスが、特定のパーティション キーを指定して同じパーティションにメッセージを生成するようにしたいと考えています (異なるサービスが同じトピックにイベントを発行する場合)。

私たちの主なアイデアは、一般的なハッシュ アルゴリズムを使用することでしたが、(実験的なライブラリの一部ではなく) 強力な配布保証と優れた安定性の両方を備えたものを見つけるのは困難でした。

PHP はネイティブで幅広いハッシュ アルゴリズムをサポートしていますが、他の言語で同じサポートを見つけるのは困難です。

Kafka のデフォルトのパーティショナーは murmur2 に依存しているため、その方向にも目を向け始めました。残念ながら、php ではネイティブにサポートされていません (ただし、いくつかの実装は存在します)。さらに、このアルゴリズムはシードを使用します。つまり、すべてのパブリッシャー サービスにまったく同じシードを使用する必要があり、アプローチが非常に複雑に見え始めています。

ただし、設計を間違った角度から見ている可能性があります。ポリグロット サービス間でイベント ストア書き込み機能を共有することはお勧めできません。「集約ごとに 1 つのパーティション」という要件が保証される限り、各サービスは独自のパーティショニング ロジックを持つことができます。問題は、これを前もって考えなければならないということです。なぜなら、技術的な安全策では、将来、あるサービスが「共有」イベント ストリームで公開されるのを防ぐことはできないからです (そして、まったく同じパーティショニング ロジックを使用しないと、それが発生したときに大きな影響を与えることになります)。

ポリグロット環境で Kafka を使用してイベント ストアを構築した経験のある方がいらっしゃいますか?この特定のトピックについて強調していただけますか?

SQL クエリのために、HTML 文字列を正規表現で匿名化しようとしています。

https://regex101.com/r/QWt1E1/1

計画は、<> 内にないすべての文字を . に置き換えることでしたn。ほとんど機能しますが、私の例ではein を置き換え</em>ます。それを修正する理由と方法がわかりません。

例の を置き換えないように正規表現を調整するにはどうすればよいeですか?