python - 大きな np.array を効率的に削減する

Question

次のタイプのゼロ以外の配列を減らす必要があります。

a = np.zeros([10**4,10**4])

タイプの単純な制約を条件とする次元 (列) の数を減らすには:

a[column_index].sum() > threshold

反復して .delete を呼び出すことで簡単に実行できますが、実際にはもっと効率的なものを探しています (配列が非常に大きいため)。ヒントはありますか？

Answer 1

軸 0 に沿って合計してすべての列の合計を取得し、bool 配列を作成して列を選択します。

import numpy as np

a = np.random.randint(0, 100, [100,100])
b = a[:, a.sum(axis=0) > 5000]
print b.sum(axis=0)

出力：

array([5359, 5045, 5116, 5512, 5143, 5261, 5209, 5018, 5009, 5025, 5353,
       5149, 5407, 5258, 5148, 5527, 5176, 5173, 5028, 5110, 5406, 5211,
       5287, 5163, 5364, 5623, 5257, 5361, 5528, 5049, 5298, 5280, 5201,
       5099, 5314, 5071, 5318, 5076, 5005, 5032, 5194, 5411, 5329, 5293])