python - pyarrow を使用した消費者と生産者のパターン

Question

pandas データフレームの高速メモリ ストアとして pyarrow を使用して、マルチプロセス ベースのコンシューマー プロデューサー パターンを実装する最良の方法は何ですか?

現在、私は redis pub sub を使用していますが、より効率的な (より高速な) ソリューションがあると思いますか? 例を挙げていただけますか？

Answer 1

リストを使用したソリューション:

Producer はリストにデータを配置し、LPUSH
Consumer はRPOPor BRPOP(ブロッキング) を使用してこのリストからデータを取得します。

制限: 1 つのコンシューマーのみがメッセージを読み取ります。2 つある場合は、そのうちの 1 つだけがメッセージを表示します。

速度: 消費者と生産者の 1 つのペアでは、同じ速度になります。(このリストまたは他のリストの) コンシューマーが多いほど、pub/sub よりも高速になります。