問題タブ [pickle]

次のコードフラグメントがあります。

エラーがあります：

私は何を間違っていますか？

現在、次のようなテーブルがありますPages, Groups, GroupPage, Users, UserGroup。pickled セットを使用すると、3 つのテーブルのみで同じことを実装できますPages, Groups, Users。

setグループおよびパーミッション関連の操作はセットで非常に自然に表現できるため、ACL を実装するための自然な選択と思われます。許可/拒否リストをピクルセットとして保存すると、多対多関係の中間テーブルがほとんどなくなり、多くのデータベース操作なしで権限の編集が可能になります。

人間の可読性が重要な場合は、シリアル化に cPickle の代わりに json をいつでも使用できset、Python でアクセス許可リストを操作するときに使用できます。SQL を使用して権限を直接編集することはほとんどありません。それで、それは良いデザインアイデアですか？

SQLAlchemy を ORM として使用しているため、column で実装される可能性がありPickleTypeます。ピクルス化された「リソース」レコードセット全体を保存するつもりはなくset、「リソース」の主キー値から作成されたオブジェクトのみを保存する予定です。

機械学習用のデータセットを含む Python クラスのハッシュを計算したいと考えています。ハッシュはキャッシングに使うものなので、md5やを考えていsha1ました。問題は、ほとんどのデータが NumPy 配列に格納されていることです。__hash__()これらはメンバーを提供しません。現在pickle.dumps()、各メンバーに対して実行し、これらの文字列に基づいてハッシュを計算しています。ただし、同じオブジェクトが異なるシリアル化文字列につながる可能性があることを示す次のリンクを見つけました。

• None のハッシュはマシンごとに異なります
• ハッシュに適していない Pickle.dumps

Numpy 配列を含む Python クラスのハッシュを計算する最良の方法は何でしょうか?

終了する前にプログラムのコンテキストを保存する必要があります...以前に作成したオブジェクトに必要なものをすべて入れました。何度も選択しようとしましたが、方法がありません!! 次のようなエラーが継続的に発生します。

• PicklingError: 'SRE_Match' オブジェクトをピクルできません: <_sre.SRE_Match object at 0x2a969cd9c0>

• OSError: [Errno 1] 操作は許可されていません: [参照しているファイルはすべて rwx です]

私が使用するコードは次のとおりです。

これらの問題をどのように解決できるか、または別の解決策を知っている人はいますか?

前もって感謝します

Pythonで生成された大きなデータセットをDjangoモデルに保存したいと思います。私のアイデアは、データを文字列にピクルスして、モデルのFileFieldにアップロードすることでした。私のdjangoモデルは次のとおりです。

私のPythonプログラムでは、次のことを実行したいと思います。

パラメータで定義されたパスを保持するために保存するsomedata最後の行をどのように変更する必要がありますか？fileupload_to

変数名を取得し、それが存在するかどうかを確認し、存在しない場合はファイルから（pickleを使用して）グローバル名前空間にロードする小さな関数を作成しようとしています。

私はこれをファイルで使用してみました：

しかし、それは機能しません-変数は定義されません。私は何が間違っているのですか？

875228 のより具体的な重複 — Python での単純なデータの保存。

かなり大きな dict (6 GB) があり、それに対して何らかの処理を行う必要があります。いくつかのドキュメント クラスタリング方法を試しているので、すべてを一度にメモリに格納する必要があります。このデータに対して実行する関数は他にもありますが、内容は変わりません。

現在、新しい関数を考えるたびに、それらを記述してから辞書を再生成する必要があります。この dict をファイルに書き込む方法を探しているので、すべての値を再計算する代わりにメモリにロードできます。

{((('word','list'),(1,2),(1,3)),(...)):0.0, ....}

: と ( を探して文字列をループして辞書に入れようとするよりも、Python の方が優れた方法を持っているに違いないと思います。

ユーザーの履歴書を受け入れる FileField がある django フォームがあります。後で履歴書を html ドキュメントに変換します。そのため、元のドキュメントをすぐにピクルして db 列に保存し、後でピクルを解除して変換することを考えました。それは可能ですか？

静的データ構造を正常に構築した後 (こちらを参照)、ユーザーが操作を要求するたびに最初から構築する必要はありません。私の単純な最初のアイデアは、(python の pickle を使用して) 構造をファイルにダンプし、クエリごとにこのファイルをロードすることでした。言うまでもなく (私が理解したように)、ファイルがかなり大きいため、これには時間がかかりすぎます。

このことを簡単にスピードアップする方法はありますか? ファイルを複数のファイルに分割しますか? または、サーバー上で実行されているプログラムですか? （これを実装するのはどれくらい難しいですか？）

ご協力いただきありがとうございます！

Pickle は特定の入力値に対して常に同じ出力を生成しますか? 内容が同じで挿入/削除の履歴が異なる辞書をピクルする場合、問題が発生する可能性があると思います。私の目標は、メモ化の実装のために、Pickle と SHA1 を使用して、関数の引数の「署名」を作成することです。