問題タブ [recarray]

質問が不十分に書かれている場合は、事前に謝罪してください。このサイトへの投稿はこれが 2 回目で、初心者のプログラマーです。まず、私がやろうとしていることは次のとおりです。

ステップ 0: CSV ファイルをレコード配列に変換する

ステップ 1: レコード配列を 2 つのサブ配列に分割する

ステップ 2: サブ配列をシャッフルする

ステップ 3: 2 つのサブアレイを 4 つの小さなサブアレイに分割する

ステップ 4: 各サブアレイをシャッフルする

ステップ 5: サブ配列間で値を組み合わせて一致させる

ステップ 6: サブ配列を 2 つのレコード配列の 1 つに追加し、レコード配列を 1 つの CSV ファイルに結合する

最初の数ステップはかなり単純です。

ステップ 0:

ステップ1：

ステップ 2、3、4、および 5:

ステップ 6:

私の問題はここで発生します。生成される CSV ファイルは問題ありませんが、非常に奇妙な値がいくつか含まれています。たとえば、「audio」フィールドの最初の値は次のようになります。

\xb8\xce\xe1H\xeb\x7f\x00\x00\xd0\x12\x81

これは何が原因ですか？配列を互いに追加する方法と関係がありますか?

Python で R 配列に似たもの、またはそれよりも優れたものを使用したいと考えています。R 配列は、名前 (文字列) に基づいてテンソルを直接サブセット化できるようにする、dimnames 属性を持つテンソルのようなオブジェクトです。numpy の再配列では列名を使用でき、pandas では 2 次元配列の柔軟かつ効率的なサブセット化が可能です。名前を使用して ndarrays をスライスおよびサブセット化するのと同様の操作を可能にする Python の何か (または、Python でハッシュ可能で不変のオブジェクト) はありますか?

辞書の疎結合リストをnp.recarray(where import numpy as np) に変換するために使用できる方法は何ですか?

私はここでSOを見回しましたが、つまり、データがすでに適切に構造化されているものを見ました。

ここで簡単なメソッドのプロトタイプを作成しました: dict_list_to_recarray.py

ありがとうございました！

再配列にある値を含む行を削除する便利な方法はありますか? 次の配列があるとします。

そして、出力が

これを行う簡単な方法はありますか？

私の実際のデータには10000以上のアイテムがあります。おおよそ次のような形式の複雑でnumpyなレコード配列があります。

私の列は によって定義されていdtype = [('coords', '3f4'), ('values', 'f4'), ('meta', 'S10')]ます。set(a['meta']) を実行して、可能なすべてのメタ値のリストを取得します。

そして、「メタ」列に基づいて小さなリストに分割したいと思います。理想的には、次のような結果が必要です。

また

または他の便利な分割形式。

ただし、大規模なデータセットの場合、前者の方がメモリに優れています。この分割を行う方法についてのアイデアはありますか? ここで他の質問を見てきましたが、それらはすべて数値のテストです。

コードで奇妙な状況が見つかりました。問題は次のコードに示されています

出力は次のとおりです。

私の理解では、新しい値を直接割り当てない限り、srecaまたはireca参照を保持する必要がありますが、割り当て後に参照を失いました。これが期待されているかどうかはわかりません。recaireca

これを回避する方法を教えてもらえますか？

ところで、コードを少し変更するだけで (reca['n1'] = ['a']*10たとえば) True、このサンプルのすべてが得られることがわかりました。これには本当に混乱します。