303

形状が異なるが、長さが同じ（リーディングディメンション）の2つのnumpy配列があります。対応する要素が引き続き対応するように、それぞれをシャッフルしたいと思います。つまり、主要なインデックスに関して一斉にシャッフルします。

このコードは機能し、私の目標を示しています。

def shuffle_in_unison(a, b):
    assert len(a) == len(b)
    shuffled_a = numpy.empty(a.shape, dtype=a.dtype)
    shuffled_b = numpy.empty(b.shape, dtype=b.dtype)
    permutation = numpy.random.permutation(len(a))
    for old_index, new_index in enumerate(permutation):
        shuffled_a[new_index] = a[old_index]
        shuffled_b[new_index] = b[old_index]
    return shuffled_a, shuffled_b

例えば：

>>> a = numpy.asarray([[1, 1], [2, 2], [3, 3]])
>>> b = numpy.asarray([1, 2, 3])
>>> shuffle_in_unison(a, b)
(array([[2, 2],
       [1, 1],
       [3, 3]]), array([2, 1, 3]))

ただし、これは不格好で非効率的で低速であると感じ、配列のコピーを作成する必要があります。配列は非常に大きくなるため、その場でシャッフルしたいと思います。

これについてもっと良い方法はありますか？実行の高速化とメモリ使用量の削減が私の主な目標ですが、洗練されたコードもいいでしょう。

私が持っていたもう一つの考えはこれでした：

def shuffle_in_unison_scary(a, b):
    rng_state = numpy.random.get_state()
    numpy.random.shuffle(a)
    numpy.random.set_state(rng_state)
    numpy.random.shuffle(b)

これは機能します...しかし、それが機能し続けるという保証はほとんどないので、少し怖いです-たとえば、numpyバージョン全体で存続することが保証されているようなもののようには見えません。

4

17 に答える 17

427

NumPyの配列インデックスを使用できます：

def unison_shuffled_copies(a, b):
    assert len(a) == len(b)
    p = numpy.random.permutation(len(a))
    return a[p], b[p]

これにより、個別のユニゾンシャッフル配列が作成されます。

于 2011-01-05T08:52:04.143 に答える
203 
X = np.array([[1., 0.], [2., 1.], [0., 0.]])
y = np.array([0, 1, 2])
from sklearn.utils import shuffle
X, y = shuffle(X, y, random_state=0)

詳細については、 http：//scikit-learn.org/stable/modules/generated/sklearn.utils.shuffle.htmlを参照してください。

于 2015-06-04T01:46:55.930 に答える
81

あなたの「怖い」解決策は私には怖く見えません。同じ長さの2つのシーケンスを呼び出すshuffle()と、乱数ジェネレーターへの呼び出し回数が同じになります。これらは、シャッフルアルゴリズムの唯一の「ランダム」要素です。状態をリセットすることにより、乱数ジェネレーターへの呼び出しが、への2番目の呼び出しで同じ結果をもたらすことを保証しますshuffle()。したがって、アルゴリズム全体が同じ順列を生成します。

これが気に入らない場合は、別の解決策として、データを最初から2つではなく1つの配列に格納し、現在の2つの配列をシミュレートする2つのビューをこの1つの配列に作成します。単一の配列をシャッフルに使用し、ビューを他のすべての目的に使用できます。

例：配列aを想定して、次のbようにします。

a = numpy.array([[[  0.,   1.,   2.],
                  [  3.,   4.,   5.]],

                 [[  6.,   7.,   8.],
                  [  9.,  10.,  11.]],

                 [[ 12.,  13.,  14.],
                  [ 15.,  16.,  17.]]])

b = numpy.array([[ 0.,  1.],
                 [ 2.,  3.],
                 [ 4.,  5.]])

これで、すべてのデータを含む単一の配列を作成できます。

c = numpy.c_[a.reshape(len(a), -1), b.reshape(len(b), -1)]
# array([[  0.,   1.,   2.,   3.,   4.,   5.,   0.,   1.],
#        [  6.,   7.,   8.,   9.,  10.,  11.,   2.,   3.],
#        [ 12.,  13.,  14.,  15.,  16.,  17.,   4.,   5.]])

次に、元のビューをシミュレートするビューを作成しaますb。

a2 = c[:, :a.size//len(a)].reshape(a.shape)
b2 = c[:, a.size//len(a):].reshape(b.shape)

とのデータは。a2とb2共有されcます。両方のアレイを同時にシャッフルするには、を使用しますnumpy.random.shuffle(c)。

もちろん、本番コードでは、オリジナルを作成することを避けa、bすぐに作成しc、、を作成しようa2としb2ます。

このソリューションは、dtypeが異なる場合に適合させることができaますb。

于 2011-01-05T11:35:28.077 に答える
40

非常に簡単な解決策：

randomize = np.arange(len(x))
np.random.shuffle(randomize)
x = x[randomize]
y = y[randomize]

2つの配列x、yは、両方とも同じ方法でランダムにシャッフルされます。

于 2016-06-08T18:45:00.363 に答える
26

Jamesは2015年に役立つsklearnソリューションを作成しました。しかし、彼はランダムな状態変数を追加しました。これは必要ありません。以下のコードでは、numpyからのランダムな状態が自動的に想定されます。

X = np.array([[1., 0.], [2., 1.], [0., 0.]])
y = np.array([0, 1, 2])
from sklearn.utils import shuffle
X, y = shuffle(X, y)
于 2018-05-30T13:58:27.633 に答える
25 
from np.random import permutation
from sklearn.datasets import load_iris
iris = load_iris()
X = iris.data #numpy array
y = iris.target #numpy array

# Data is currently unshuffled; we should shuffle 
# each X[i] with its corresponding y[i]
perm = permutation(len(X))
X = X[perm]
y = y[perm]
于 2019-03-25T23:23:18.543 に答える
19

NumPyのみを使用して、任意の数のアレイをインプレースでシャッフルします。

import numpy as np


def shuffle_arrays(arrays, set_seed=-1):
    """Shuffles arrays in-place, in the same order, along axis=0

    Parameters:
    -----------
    arrays : List of NumPy arrays.
    set_seed : Seed value if int >= 0, else seed is random.
    """
    assert all(len(arr) == len(arrays[0]) for arr in arrays)
    seed = np.random.randint(0, 2**(32 - 1) - 1) if set_seed < 0 else set_seed

    for arr in arrays:
        rstate = np.random.RandomState(seed)
        rstate.shuffle(arr)

そして、このように使用することができます

a = np.array([1, 2, 3, 4, 5])
b = np.array([10,20,30,40,50])
c = np.array([[1,10,11], [2,20,22], [3,30,33], [4,40,44], [5,50,55]])

shuffle_arrays([a, b, c])

注意すべきいくつかのこと：

  • アサートにより、すべての入力配列が最初の次元に沿って同じ長さになることが保証されます。
  • 配列は最初の次元でインプレースでシャッフルされました-何も返されませんでした。
  • 正のint32範囲内のランダムシード。
  • 繰り返し可能なシャッフルが必要な場合は、シード値を設定できます。

np.splitシャッフル後、アプリケーションに応じて、スライスを使用してデータを分割したり、スライスを使用して参照したりできます。

于 2018-07-25T19:12:27.140 に答える
12

次のような配列を作成できます。

s = np.arange(0, len(a), 1)

次にそれをシャッフルします：

np.random.shuffle(s)

ここで、これを配列の引数として使用します。同じシャッフルされた引数は、同じシャッフルされたベクトルを返します。

x_data = x_data[s]
x_label = x_label[s]
于 2018-04-01T11:59:17.903 に答える
7

これを処理できるよく知られた関数があります。

from sklearn.model_selection import train_test_split
X, _, Y, _ = train_test_split(X,Y, test_size=0.0)

test_sizeを0に設定するだけで、分割が回避され、データがシャッフルされます。通常、トレインとテストデータを分割するために使用されますが、それらもシャッフルします。ドキュメント
から

配列または行列をランダムなトレインとテストのサブセットに分割します

入力検証とnext（ShuffleSplit（）。split（X、y））をラップし、データを1つの呼び出しに入力して、データを1つのライナーで分割（およびオプションでサブサンプリング）するためのアプリケーションをラップするクイックユーティリティ。

于 2018-11-07T19:55:43.023 に答える
6

接続されたリストに対してインプレースシャッフルを実行できる1つの方法は、シード（ランダムである可能性があります）を使用し、numpy.random.shuffleを使用してシャッフルを実行することです。

# Set seed to a random number if you want the shuffling to be non-deterministic.
def shuffle(a, b, seed):
   np.random.seed(seed)
   np.random.shuffle(a)
   np.random.seed(seed)
   np.random.shuffle(b)

それでおしまい。これにより、aとbの両方がまったく同じ方法でシャッフルされます。これもインプレースで行われ、常にプラスになります。

編集、np.random.seed（）を使用しないでください代わりにnp.random.RandomStateを使用してください

def shuffle(a, b, seed):
   rand_state = np.random.RandomState(seed)
   rand_state.shuffle(a)
   rand_state.seed(seed)
   rand_state.shuffle(b)

それを呼び出すときは、ランダムな状態をフィードするために任意のシードを渡すだけです。

a = [1,2,3,4]
b = [11, 22, 33, 44]
shuffle(a, b, 12345)

出力：

>>> a
[1, 4, 2, 3]
>>> b
[11, 44, 22, 33]

編集：ランダムな状態を再シードするようにコードを修正しました

于 2017-11-30T23:56:13.323 に答える
6

これは非常に単純な解決策のようです。

import numpy as np
def shuffle_in_unison(a,b):

    assert len(a)==len(b)
    c = np.arange(len(a))
    np.random.shuffle(c)

    return a[c],b[c]

a =  np.asarray([[1, 1], [2, 2], [3, 3]])
b =  np.asarray([11, 22, 33])

shuffle_in_unison(a,b)
Out[94]: 
(array([[3, 3],
        [2, 2],
        [1, 1]]),
 array([33, 22, 11]))
于 2020-04-17T03:00:44.497 に答える
2

aとbの2つの配列があるとします。

a = np.array([[1,2,3],[4,5,6],[7,8,9]])
b = np.array([[9,1,1],[6,6,6],[4,2,0]])

最初の次元を並べ替えることにより、最初に行インデックスを取得できます

indices = np.random.permutation(a.shape[0])
[1 2 0]

次に、高度なインデックスを使用します。ここでは、同じインデックスを使用して、両方の配列を同時にシャッフルしています。

a_shuffled = a[indices[:,np.newaxis], np.arange(a.shape[1])]
b_shuffled = b[indices[:,np.newaxis], np.arange(b.shape[1])]

これは同等です

np.take(a, indices, axis=0)
[[4 5 6]
 [7 8 9]
 [1 2 3]]

np.take(b, indices, axis=0)
[[6 6 6]
 [4 2 0]
 [9 1 1]]
于 2018-12-05T18:30:49.690 に答える
1

配列のコピーを避けたい場合は、順列リストを生成する代わりに、配列内のすべての要素を調べて、配列内の別の位置にランダムにスワップすることをお勧めします

for old_index in len(a):
    new_index = numpy.random.randint(old_index+1)
    a[old_index], a[new_index] = a[new_index], a[old_index]
    b[old_index], b[new_index] = b[new_index], b[old_index]

これは、Knuth-Fisher-Yatesシャッフルアルゴリズムを実装します。

于 2011-01-05T07:38:53.670 に答える
0

例では、これは私がしていることです：

combo = []
for i in range(60000):
    combo.append((images[i], labels[i]))

shuffle(combo)

im = []
lab = []
for c in combo:
    im.append(c[0])
    lab.append(c[1])
images = np.asarray(im)
labels = np.asarray(lab)
于 2016-02-10T05:52:51.627 に答える
0

Pythonのrandom.shuffle（）を拡張して、2番目の引数を取得しました。

def shuffle_together(x, y):
    assert len(x) == len(y)

    for i in reversed(xrange(1, len(x))):
        # pick an element in x[:i+1] with which to exchange x[i]
        j = int(random.random() * (i+1))
        x[i], x[j] = x[j], x[i]
        y[i], y[j] = y[j], y[i]

そうすれば、シャッフルがその場で行われ、機能が長すぎたり複雑になったりすることはありません。

于 2017-10-30T14:15:47.587 に答える
0

使用するだけnumpyです...

最初に2つの入力配列をマージします。1D配列はlabels（y）で、2D配列はdata（x）であり、NumPyshuffleメソッドでそれらをシャッフルします。最後にそれらを分割して戻ります。

import numpy as np

def shuffle_2d(a, b):
    rows= a.shape[0]
    if b.shape != (rows,1):
        b = b.reshape((rows,1))
    S = np.hstack((b,a))
    np.random.shuffle(S)
    b, a  = S[:,0], S[:,1:]
    return a,b

features, samples = 2, 5
x, y = np.random.random((samples, features)), np.arange(samples)
x, y = shuffle_2d(train, test)
于 2020-04-02T21:30:02.910 に答える
0

私の意見では、最短で最も簡単な方法は、シードを使用することです。

random.seed(seed)
random.shuffle(x_data)
# reset the same seed to get the identical random sequence and shuffle the y
random.seed(seed)
random.shuffle(y_data)
于 2021-09-22T01:34:17.037 に答える