問題タブ [joblib]

joblib（sklearn GridSearchCV）を使用するpythonタスクを開始し、操作を停止（Ctrl-C）した後、停止しました

最後に、父プロセスを強制終了しましたが、 /dev/shm 内のファイルで立ち往生しています。それらを安全に削除するにはどうすればよいですか?

それを使用してsklearnモデルを解凍すると、ローカルで正常joblib.load()に動作します。S3 にデプロイし、Heroku のフラスコ アプリにロードしました (正常に動作することを確認しました)。

ただし、heroku logs展開後に実行すると、実行後に次のように表示されますclassifier = joblib.load(classifierFile)。

助けてください。

多くのドキュメントのテキストを修正する作業を Python で並列化しようとしているので、当然「joblib」を見つけました。各タスクは、特定のドキュメントを修正することです。コードの構造は次のとおりです。

ここに要約された関数 find_errors を使用しています:

これにより、いくつかのエラーが発生します

これが構成に関連する何かを行うためなのか、それとも私の関数が並列実装に適合しないのかがわかりません... (そうすべきだと思います...)

以前にあなたの何人かに起こったことがありますか？

私の質問が明確で、誰かが私に助けを与えるのに十分な情報があることを願っています!

実際のコードは次のようになります。

マルチプロセッシング、つまりjI want to poolのすべての反復を実現するために結び付けていますcolumn_list。関数が遅いのでcompute_tf、マルチプロセスしたい。

Pythonで使用する必要があることがわかりましたがjoblib、ネストされたループを回避することはできません。

これが達成すべきことです。これに関する解決策またはその他の解決策が提供されれば、非常に役立ちます。

Tornado アプリケーション コンテキストで非同期に実行したい、重い計算ジョブを処理する関数があると想像してください。さらに、結果をディスクに保存し、同じ引数に対して関数を 2 回再実行しないことで、関数を遅延評価したいと考えています。

結果 (メモ化) をキャッシュしないと、次のようになります。

関数のメモ化を実現するために、 joblibからMemoryクラスを選択します。関数を関数で装飾するだけで、簡単にメモ化できます。@mem.cache

のmemようなものがありますmem = Memory(cachedir=get_cache_dir())。

ここで、エグゼキューターで計算的に複雑な関数を実行する場合、2 つを組み合わせることを検討してください。

最初の質問は、前述のアプローチが技術的に正しいかどうかです。

ここで、次のシナリオを考えてみましょう。

2 番目の質問は、どのようにメモ化できるかということですsecond_coroutine。次のようなことをするのは正しいですか：

[UPDATE I] Tornado での関数の結果のキャッシュと再利用では、2 番目の質問の解決策としてfunctools.lru_cacheorの使用について説明しています。repoze.lru.lru_cache

形状を知らずに をロードしてnumpy.memmapも、データの形状を回復することは可能ですか?

最後の行では、 shape を指定せずに、変数newfpが shape を持つ(3,4)ようにしたいと考えていjoblib.loadます。これは可能ですか？ありがとう。