問題タブ [python-collections]

tl;dr :

Python では、データの整合性を検証する効率的な手段はありますか?

あらすじ:

私は、(A)開発者が構築できる複数の API サービスから同様のタイプのデータを取り込み、(B)ユーザー/開発者がデータ パイプラインとの統合を作成できるようにし、(C)対話に戻るフレームワークに取り組んでいます。同じまたは新しい API サービスを使用します。

データフロー: A -> B -> C

フレームワークが提供する3 つの主要な機能は次のとおりです。

1. 特定の API の共有コンテキスト (レート制限機能、アカウント資格情報などを許可)
2. さまざまなデータ統合コンポーネントの共有コンテキスト (あるアクターが、パイプライン内の後のアクターのために有用な出力を生成できるようにします)。
3. API から渡される実際のデータ (websocket または定期的/スケジュールされた API 応答の場合があります)。

要件：

これで、3種類のデータセットが必要になります。これらの各セット内で、データには次の要件があります。

1. type任意の受信 JSON 構造を包含する単一の Python 。
2. オブジェクトは不変でなければなりません。
3. パフォーマンスが必要です。目標は、可能な限りほぼリアルタイムの API 対話を実現することです。

あった方がよい：

1. グループ化または定義ファイルでタイプを最小限に定義する機能。
2. 属性は、名前、キーなどで参照できる必要があります。
3. JSON との間で効率的にシリアル化できる必要があります。
4. ここでもセキュリティが懸念されます。データが改ざんされていないことを信頼し、場合によっては、機密性の高い値をフィルタリングする必要があります。

現在の場所:

このプロジェクトは、JSON 構造のようなnamedtuples変換を使用して開始されましたdictが、かなりの拡張が必要です。例: 2 つの異なる API のオブジェクトはほとんど同じですが、そのデータのアクターは一致する必要があります。これには、API ごとに翻訳レイヤーが必要であり、API ごとに追加のオブジェクト定義セットを作成する必要があり、namedtuplesライブラリへの要求がより複雑で煩雑になります。

次のステップは、metaclass定義済みの構造に基づいて不変オブジェクトを生成する を作成するか、 をサブクラス化namedtuplesし、いくつかのヘルパー メソッドを追加することでした。

それで、コミュニティに手を差し伸べて、自分でアイデアを出す前に何かアイデアがあるかどうかを確認しようと思いました.

vector<pair<int, pair<int,int>>>PythonでC++データ構造のアナロジーを作成するには? 最初の (int) パラメータで並べ替えます。Python でリストのリストを使用しようとしましたが、これは私が望むものではありません。ありがとうございました。