別のフィールド「ステータス」に沿って、日時情報を含む600 000 x / yポイントのデータフレームがあり、追加の説明情報があります
私の目的は、各レコードに対して次のとおりです。
- 特定の時空間バッファ内にあるレコードごとに列「ステータス」を合計します
特定のバッファーは t - 8 時間以内で、100 メートル未満
現在、パンダデータフレームにデータがあります。
行をループして、各レコードについて、関心のある日付をサブセット化し、距離を計算して、選択をさらに制限することができます。ただし、非常に多くのレコードがあると、それでもかなり遅くなります。
- これを実行するには 4.4 時間かかります。
x、y、日付をエポック時間として 3 次元の kdtree を作成できることがわかります。ただし、日付と地理的な距離を組み込むときに、距離を適切に制限する方法がわかりません。
テスト用の再現可能なコードを次に示します。
輸入
import numpy.random as npr
import numpy
import pandas as pd
from pandas import DataFrame, date_range
from datetime import datetime, timedelta
データの作成
np.random.seed(111)
テストデータを生成する機能
def CreateDataSet(Number=1):
Output = []
for i in range(Number):
# Create a date range with hour frequency
date = date_range(start='10/1/2012', end='10/31/2012', freq='H')
# Create long lat data
laty = npr.normal(4815862, 5000,size=len(date))
longx = npr.normal(687993, 5000,size=len(date))
# status of interest
status = [0,1]
# Make a random list of statuses
random_status = [status[npr.randint(low=0,high=len(status))] for i in range(len(date))]
# user pool
user = ['sally','derik','james','bob','ryan','chris']
# Make a random list of users
random_user = [user[npr.randint(low=0,high=len(user))] for i in range(len(date))]
Output.extend(zip(random_user, random_status, date, longx, laty))
return pd.DataFrame(Output, columns = ['user', 'status', 'date', 'long', 'lat'])
#Create data
data = CreateDataSet(3)
len(data)
#some time deltas
before = timedelta(hours = 8)
after = timedelta(minutes = 1)
高速化する機能
def work(df):
output = []
#loop through data index's
for i in range(0, len(df)):
l = []
#first we will filter out the data by date to have a smaller list to compute distances for
#create a mask to query all dates between range for date i
date_mask = (df['date'] >= df['date'].iloc[i]-before) & (df['date'] <= df['date'].iloc[i]+after)
#create a mask to query all users who are not user i (themselves)
user_mask = df['user']!=df['user'].iloc[i]
#apply masks
dists_to_check = df[date_mask & user_mask]
#for point i, create coordinate to calculate distances from
a = np.array((df['long'].iloc[i], df['lat'].iloc[i]))
#create array of distances to check on the masked data
b = np.array((dists_to_check['long'].values, dists_to_check['lat'].values))
#for j in the date queried data
for j in range(1, len(dists_to_check)):
#compute the ueclidean distance between point a and each point of b (the date masked data)
x = np.linalg.norm(a-np.array((b[0][j], b[1][j])))
#if the distance is within our range of interest append the index to a list
if x <=100:
l.append(j)
else:
pass
try:
#use the list of desired index's 'l' to query a final subset of the data
data = dists_to_check.iloc[l]
#summarize the column of interest then append to output list
output.append(data['status'].sum())
except IndexError, e:
output.append(0)
#print "There were no data to add"
return pd.DataFrame(output)
コードを実行して時間を計る
start = datetime.now()
out = work(data)
print datetime.now() - start
ベクトル化された方法でこのクエリを実行する方法はありますか? それとも、別のテクニックを追求する必要がありますか。
<3