python - numpy配列間の距離、列方向

Question

2Dに2つの配列があり、列ベクトルは特徴ベクトルです。1つの配列のサイズはFxAで、もう1つの配列はF x Bです。ここで、A << Bです。例として、A=2およびF=3の場合（Bは何でもかまいません）。

arr1 = np.array( [[1, 4],
                  [2, 5],
                  [3, 6]] )

arr2 = np.array( [[1, 4, 7, 10, ..],
                  [2, 5, 8, 11, ..],
                  [3, 6, 9, 12, ..]] )

の可能なフラグメントごとに、同じサイズ（この場合は3x2）arr1のフラグメントとの間の距離を計算したいと思います。列ベクトルは互いに独立しているため、の各列ベクトルと、からからまでの範囲の列ベクトルのコレクションとの間の距離を計算し、これらの距離の合計を取得する必要があると思います（ただし、わかりません）。arr2arr2arr1ii + Aarr2

numpyはこれを行う効率的な方法を提供しますか、それとも2番目の配列からスライスを取得し、別のループを使用してarr1、スライス内の各列ベクトルと対応する列ベクトルの間の距離を計算する必要がありますか？

上記の配列を使用したわかりやすくするための例：

>>> magical_distance_func(arr1, arr2[:,:2])
[0, 10.3923..]
>>> # First, distance between arr2[:,:2] and arr1, which equals 0.
>>> # Second, distance between arr2[:,1:3] and arr1, which equals 
>>> diff = arr1 - np.array( [[4,7],[5,8],[6,9]] )
>>> diff
[[-3, -3], [-3, -3], [-3, -3]]
>>> # this happens to consist only of -3's. Norm of each column vector is:
>>> norm1 = np.linalg.norm([:,0])
>>> norm2 = np.linalg.norm([:,1])
>>> # would be extremely good if this worked for an arbitrary number of norms
>>> totaldist = norm1 + norm2
>>> totaldist
10.3923...

もちろん、配列を転置することも問題ありません。それが、cdistをここで何らかの形で使用できることを意味する場合です。

Answer 1

私があなたの質問を正しく理解していれば、これはうまくいくでしょう。知っているnumpyと、おそらくもっと良い方法がありますが、これは少なくともかなり簡単です。計算が期待どおりに機能していることを示すために、いくつかの工夫された座標を使用しました。

>>> arr1
array([[0, 3],
       [1, 4],
       [2, 5]])
>>> arr2
array([[ 3,  6,  5,  8],
       [ 5,  8, 13, 16],
       [ 2,  5,  2,  5]])

それらが互いに正しくブロードキャストすることを確認することにより、arr1から差し引くことができます。arr2私が考えることができる最善の方法は、転置を行い、いくつかの再形成を行うことです。これらはコピーを作成しません-ビューを作成します-したがって、これはそれほど無駄ではありません。（distただし、コピーです。）

>>> dist = (arr2.T.reshape((2, 2, 3)) - arr1.T).reshape((4, 3))
>>> dist
array([[ 3,  4,  0],
       [ 3,  4,  0],
       [ 5, 12,  0],
       [ 5, 12,  0]])

これで、軸1全体に適用するだけnumpy.linalg.normです（いくつかの基準から選択できます）。

>>> numpy.apply_along_axis(numpy.linalg.norm, 1, dist)
array([  5.,   5.,  13.,  13.])

単純なユークリッド距離が必要な場合は、直接実行することもできます。これが速くなるか遅くなるかわからないので、両方を試してください。

>>> (dist ** 2).sum(axis=1) ** 0.5
array([  5.,   5.,  13.,  13.])

---

あなたの編集に基づいて、私たちはたった1つの小さな調整を行う必要があります。ブロック単位ではなくペア単位で列をテストするため、ローリングウィンドウが必要です。これは、非常に簡単なインデックス作成で非常に簡単に実行できます。

>>> arr2.T[numpy.array(zip(range(0, 3), range(1, 4)))]
array([[[ 3,  5,  2],
        [ 6,  8,  5]],

       [[ 6,  8,  5],
        [ 5, 13,  2]],

       [[ 5, 13,  2],
        [ 8, 16,  5]]])

それを他のトリックと組み合わせる：

>>> arr2_pairs = arr2.T[numpy.array(zip(range(0, 3), range(1, 4)))]
>>> dist = arr2_pairs - arr1.T
>>> (dist ** 2).sum(axis=2) ** 0.5
array([[  5.        ,   5.        ],
       [  9.69535971,   9.69535971],
       [ 13.        ,  13.        ]])

ただし、リスト内包表記からの配列の変換は遅くなる傾向があります。stride_tricksを使用する方が速い場合があります。ここでも、目的に最も適したものを確認してください。

>>> as_strided(arr2.T, strides=(8, 8, 32), shape=(3, 2, 3))
array([[[ 3,  5,  2],
        [ 6,  8,  5]],

       [[ 6,  8,  5],
        [ 5, 13,  2]],

       [[ 5, 13,  2],
        [ 8, 16,  5]]])

これは実際numpyにメモリのブロック上を移動する方法を操作し、小さな配列が大きな配列をエミュレートできるようにします。

>>> arr2_pairs = as_strided(arr2.T, strides=(8, 8, 32), shape=(3, 2, 3))
>>> dist = arr2_pairs - arr1.T
>>> (dist ** 2).sum(axis=2) ** 0.5
array([[  5.        ,   5.        ],
       [  9.69535971,   9.69535971],
       [ 13.        ,  13.        ]])

これで、列の各ペアの距離に対応する単純な2次元配列ができました。今では、を取得しmeanて呼び出すだけargminです。

>>> normed = (dist ** 2).sum(axis=2) ** 0.5
>>> normed.mean(axis=1)
array([  5.        ,   9.69535971,  13.        ])
>>> min_window = normed.mean(axis=1).argmin()
>>> arr2[:,[min_window, min_window + 1]]
array([[3, 6],
       [5, 8],
       [2, 5]])

Answer 2

scipy.spatial.distanceからcdistを使用して距離行列を取得できます。距離行列ができたら、列全体を合計し、正規化して平均距離を取得できます（それが目的の場合）。

注：cdistは、列の代わりに行を使用してペアワイズ距離を計算します。

ここに、「コサイン」距離を使用した例があります。

from scipy.spatial.distance import cdist

arr1 = np.array( [[1, 7],
                 [4, 8],
                 [4, 0]] )

arr2 = array( [[1, 9, 3, 6, 2],
              [3, 9, 0, 2, 3],
              [6, 0, 2, 7, 4]] )

# distance matrix
D = cdist( arr1.transpose(), arr2.transpose(), 'cosine' )

# average distance array (each position corresponds to each column of arr1)
d1 = D.mean( axis=1 )

# average distance array (each position corresponds to each column of arr2)
d2 = D.mean( axis=0 )

# Results
d1 = array([ 0.23180963,  0.35643282])
d2 = array([ 0.31018485,  0.19337869,  0.46050302,  0.3233269 ,  0.18321265])

利用可能な距離はたくさんあります。ドキュメントを確認してください。

Answer 3

scipy.spatial.distance.cdist？