問題タブ [joblib]

非常に大きなグラフ（〜1mノード）の各ノードの共有ネイバーの数を計算しようとしています。Joblib を使用して、並行して実行しようとしています。しかし、すべてのデータを保持するはずの疎行列への並列書き込みについて心配しています。このコードは一貫した結果を生成しますか?

そうでない場合は、これを解決するのを手伝ってもらえますか?

sklearn.externals.joblib実際にはpickle下位レベルでモジュールを使用するディスクに分類子モデルを永続化するために使用しています。

という名前のカスタムCountVectorizerクラスを作成してStemmedCountVectorizerに保存しutil.py、それをスクリプトで使用してモデルを永続化しました。

これはFlaskを使用した私のプロジェクト構造です:

でアプリを実行しpython run.py、永続化されたオブジェクトをロードしようとしjoblib.loadましviews.pyたが、機能しません。utilモジュールをインポートしましたが、エラーが発生しました:

誰もこれに解決策を与えることができますか? ありがとう

Joblib を使用して並列化された関数で乱数を生成する必要があります。ただし、コアから生成される乱数はまったく同じです。

現在、さまざまなコアにランダムシードを割り当てることで問題を解決しました。この問題を解決する簡単な方法はありますか?

joblib/multiprocessing でコマンドを並行して実行しようとすると、エラーが発生します。

ここにトレースバックがあります：

エラー メッセージからわかるように、h5py を使用して読み込まれたデータを操作します。事態をさらに複雑にするために、並列化したいルーチンはそのサブルーチンの 1 つで numba を使用していますが、それが問題にならないことを願っています。

コピーして貼り付けることができる実行例を次に示します。

私が間違っていることは何ですか？

編集: 少なくとも、悪者のリストから numba を除外できます...

sklearn-learn から分類子の pkl ダンプを読み込もうとしています。

joblib ダンプは、オブジェクトの cPickle ダンプよりもはるかに優れた圧縮を行うので、それを使い続けたいと思います。ただし、AWS S3 からオブジェクトを読み取ろうとするとエラーが発生します。

ケース:

• ローカルでホストされる Pkl オブジェクト: pickle.load は機能し、joblib.load は機能します
• アプリで Heroku にプッシュされた Pkl オブジェクト (静的フォルダーからロード): pickle.load は機能し、joblib.load は機能します
• S3 にプッシュされた Pkl オブジェクト: pickle.load は機能し、joblib.load は IOError を返します。(heroku アプリからのテストとローカル スクリプトからのテスト)

joblib と pickle の pkl オブジェクトは、それぞれのメソッドでダンプされる異なるオブジェクトであることに注意してください。(つまり、joblib は joblib.dump(obj) のみをロードし、pickle は cPickle.dump(obj) のみをロードします。

Joblib と cPickle のコード

私のアプリはケース 2 で正常に動作しますが、読み込みが非常に遅いため、すべての静的ファイル、特にこれらのピクル ダンプを S3 にプッシュしようとしました。このエラーの原因となる、joblib のロードと pickle のロード方法に本質的に異なるものはありますか?

これは私のエラーです

テストのためにs3のすべてのオブジェクトを公開し、pickle.dumpオブジェクトが正常にロードされるため、これは権限の問題ではありません。ブラウザにURLを直接入力すると、joblib.dumpオブジェクトもダウンロードされます

私は何かを完全に見逃している可能性があります。

ありがとう。

これは、並列化したい疑似コードですが、どこから始めればよいかわかりません

joblib で並列ループを作成する方法は知っていますが、MongoDB を並列でクエリする方法がわかりません。複数のクライアントまたはコレクションを作成する必要がありますか? 上記のコードは、MongoDB を気にせずに単に joblib で書き直した場合に機能しますか?

これが私のコードです：

次のエラー メッセージが生成されますprint(result[-1]) TypeError: 'NoneType' object is not subscriptable。また、終了しません。

私は Window 7 を使用しているので、このチェックを使用する必要がありますが、関数if __name__ == '__main__':から結果を取得するにはどうすればよいですか?parallel_calc

私はPythonでそのようなコードを書きました:

コードを実行すると、次のエラーが発生します。

RuntimeError: _ARRAY_API は PyCObject オブジェクトではありません
RuntimeError: _UFUNC_API は PyCObject オブジェクトではありません

このリンクで確認できるselective_searchをインポートしています：https ://github.com/belltailjp/selective_search_py/blob/master/selective_search.py

必要なバージョンまたはそれ以降のバージョンで、以下のすべての依存関係をインストールしました。

私のデフォルトのpythonバージョンは3.4です。

どうすれば問題を解決できますか?