問題タブ [redis-py]

何百万行もの mysql データベースを Python の redis に挿入する必要があります。現在、同じためにパイプラインを使用していますが、時間とメモリが多すぎます。これを実装するためのより良い方法を提案できますか。

Python では、マルチプロセッシング モジュールで redis-py を使用します。なぜ各プロセスが異なる fd なのですか?

テストコード:

テスト結果：

各プロセスの redis conn fd が異なるのはなぜですか? 私のコグニティブでは、遅延モードでredis connectを作成するだけで、別のredis fdが出現します。

そして、すべての子プロセスは共有オブジェクト (redis connect fd) です。

redis-py を使用してモジュールをコーディングしていますが、ここで問題があります:

None 値をチェックしましたが、結果が None であっても、else ループに入ることはありません。出力:

私はおそらく何かを見逃していますが、何がわかりません。

私は redis を使用して python プロジェクトに取り組んでいます。いくつかの調査の後、ワイルドカード「*」を含む文字列で get() を作成する方法を説明するものは見つかりませんでした。

だから私はいくつかのキーを持っています:

example.first と example.second のキー/値を取得したい:

それを行う方法はありますか？

I'm running into an issue where a re-used StrictRedis connection with a socket_timeout parameter is overriding a brpop command with an unlimited timeout. Any ideas?

Python モジュールで redis を使用してバイト シーケンスを (キーとして) 保存しています

例えば：

str = "\x00\x01\x00\x03" (バイトシーケンスとして)

db.keys(パターン=' '+str+' ')

すべての鍵をくれます。

これは正常な動作ですか？

これは私の完全なトレースです:

私は実際に ConnectionError を検索しましたが、一致する問題はありませんでした。

私のプラットフォームはubuntu 14.04です。これは私の redis 設定の一部です。(redis.conf ファイル全体が必要な場合は共有できます。ちなみに、すべてのパラメーターは LIMITS セクションで閉じられています。)

これは私のミニ redis ラッパーです。

そして、これが私がそれを使用する方法です：

パッケージのバージョン:

問題はそれです。この接続エラーは、セロリ ワーカーを開始してからしばらくすると発生します。そして、最初にそのエラーが表示された後、すべてのタスクがこのエラーで終了し、すべてのセロリ ワーカーを再起動します。（興味深いことに、セロリの花もその問題のある時期に失敗します）

redis 接続プールの使用方法、または redis 構成、またはおそらくネットワークの問題が疑われます。理由についてのアイデアはありますか？私は何を間違っていますか？

(PS: 今日このエラーが表示されたら、redis-cli 情報の結果を追加します)

アップデート：

--maxtasksperchildパラメーターをワーカー スターター コマンドに追加することで、この問題を一時的に解決しました。私はそれを 200 に設定しました。もちろん、これはこの問題を解決するための適切な方法ではありません。これは単なる対症療法です。基本的に、ワーカー インスタンスを定期的に更新し (古いプロセスを閉じて、古いプロセスが 200 タスクに達したときに新しいプロセスを作成します)、グローバル redis プールと接続を更新します。そのため、グローバル redis 接続プールの使用方法に焦点を当てる必要があると思います。また、新しいアイデアやコメントを待っています。

下手な英語で申し訳ありませんが、よろしくお願いします。