並べ替えてマージする必要があるデータセットがたくさんあります。データはさまざまな時点の 2D (x,y) データで構成されており、私がやりたいことは次のとおりです。
異なる時点を読み取り、同じ時点の (x,y) データ セットが複数あるかどうかを確認します。この場合、X 軸を比較して、データがマージできることを確認したいと思います。
これはすべてPythonで簡単に実行できます-美しいコードではないかもしれませんが、うまくいくようです. 問題は、データセットを反復処理する方法により、マージされたデータにプールされたデータの重複が含まれることです。これを説明するのは少し難しいので、次のサンプル コードで説明します。
# define test data
times = ['10ms', '20ms','30ms','10ms', '10ms']
x_axis = np.atleast_2d(np.linspace(1,5,5)).T
data_sets = [np.concatenate((x_axis, np.random.rand(5,5)),axis=1) for num in range(5)]
def mergeData(times, data_sets):
data = []
pooled_times = []
repetitions_strings = ['','_2nd', '_3rd'] + ['_%ith' % num for num in range(3,30,1) ]
for num, item in enumerate(times):
if times.count(item) == 1:
# only one data-set with the current time point exist
pooled_times.append(item)
data.append(data_sets[num])
elif times.count(item) > 1:
# more than one occurence of this time point
# extract all the occurences and compare them
idx_different = 0 # dummy variable used to keep track of the numbers of different X-axis
idx_repetitions = item == np.array(times)
# lists do not accept lists of boolean index argument. find the number indices
num_repititions = np.linspace(0, len(idx_repetitions)-1, len(idx_repetitions))[idx_repetitions]
# *** get the data ***
temporary_data = [data_sets[int(num)] for num in num_repititions]
# either round off X-axis or change both tolerances in np.allclose()
X_axis_round = [np.round(temporary_data[int(num)][:,0],decimals=4) for num in range(len(temporary_data))]
# *** THIS IS WHERE THINGS GO BAD :((
# loop over X-axis and compare - note that last X-axis is NOT considered
# Deal with last X-axis separatetly
for idx1 in range(len(X_axis_round)-1):
pool = temporary_data[idx1]
removal_counter = int(0)
for idx2 in range(idx1+1,len(X_axis_round),len(X_axis_round)):
if len(X_axis_round[idx1]) == len(X_axis_round[idx2]) and np.allclose(X_axis_round[idx1],X_axis_round[idx2]):
# pool the data because the X-axis and time point is the same
pool = np.concatenate((pool, temporary_data[idx2][:,1:]),axis=1)
removal_counter += 1
# remove the time points included in the pool so they are not dublicated
# !!! TIME POINTS SEEMS TO BE REMOVED BUT DUPPLICATES ARE STILL OCCURING?!? !!!
index = int(num_repititions[idx2])
print 'Removing index: %i, delay %s' % (index, item)
times = [times[int(num)] for num in range(len(times)) if num is not index]
time_string = item + repetitions_strings[idx_different]
pooled_times.append(time_string)
data.append(pool)
idx_different += 1
# deal with last X-axis in case it is not pooled
if removal_counter + 1 < len(times): # True if last data-set could not be pooled
time_string = item + repetitions_strings[idx_different]
pooled_times.append(time_string)
data.append(temporary_data[-1])
index = num_repititions[-1]
times = [times[int(num)] for num in range(len(times)) if num is not index]
return pooled_times, data
ご覧のとおり、(回) 繰り返しているリストからエントリを削除していますが、これは直感的に非常に悪い考えのように思えます。私のテストでは、ループは元の Times リストのすべてのエントリを反復するように見えるため、ループ中を削除しても機能しません。
この種のプーリング/マージを行うよりスマートな方法、または
for num, item in enumerate(times):
元のリストの代わりに現在の「時間」リストを使用しますか?
どんな助けでも大いに感謝します:)