5

私が持っているイベントの時間が均一なポアソンプロセスから作成されたという帰無仮説についていくつかのテストを実行したいと思います (例: http://en.wikipedia.org/wiki/Poisson_processを参照)。したがって、固定数のイベントの場合、時間は適切な範囲の一様分布のソート済みバージョンのように見えるはずです。http://docs.scipy.org/doc/scipy-0.7.x/reference/generated/scipy.stats.kstest.htmlに Kolmogorov-Smirnov テストの実装がありますが、使用方法がわかりませんここでは、scipy.stats がポアソン過程について認識していないようです。

簡単な例として、このサンプル データは、そのような検定に対して高い p 値を与えるはずです。

import random
nopoints = 100
max = 1000

points = sorted([random.randint(0,max) for j in xrange(nopoints)])

この問題の賢明なテストを行うにはどうすればよいですか?

www.stat.wmich.edu/wang/667/classnotes/pp/pp.pdf から

" 注意 6.3 (ポアソンの検定) 上記の定理は、与えられた計数過程がポアソン過程であるという仮説を検定するためにも使用できます。これは、プロセスを固定時間 t 観察することによって行うことができます。発生し、プロセスがポアソンの場合、順序付けられていない発生時間は (0, t] に独立して一様に分布します。したがって、n 回の発生時間が一様な ( 0, t] 母集団。これは、コルモゴロフ-スミロフ検定などの標準的な統計手順によって行うことができます。」

4

3 に答える 3

3

警告: すぐに書かれているため、一部の詳細は検証されていません

カイ二乗検定の自由度指数の適切な推定量は何ですか?

講義ノートをもとに

均質性の含意は、3 つのテストのいずれでも拒否されません。scipy.stats の kstest と chisquare test の使用方法を示します

# -*- coding: utf-8 -*-
"""Tests for homogeneity of Poissson Process

Created on Tue Sep 17 13:50:25 2013

Author: Josef Perktold
"""

import numpy as np
from scipy import stats

# create an example dataset
nobs = 100
times_ia = stats.expon.rvs(size=nobs) # inter-arrival times
times_a = np.cumsum(times_ia) # arrival times
t_total = times_a.max()

# not used
#times_as = np.sorted(times_a)
#times_ia = np.diff(times_as)

bin_limits = np.array([ 0. ,  0.5,  1. ,  1.5,  2. ,  np.inf])
nfreq_ia, bins_ia = np.histogram(times_ia, bin_limits)


# implication: arrival times are uniform for fixed interval
# using times.max() means we don't really have a fixed interval
print stats.kstest(times_a, stats.uniform(0, t_total).cdf)

# implication: inter-arrival times are exponential
lambd = nobs * 1. / t_total
scale = 1. / lambd

expected_ia = np.diff(stats.expon.cdf(bin_limits, scale=scale)) * nobs
print stats.chisquare(nfreq_ia, expected_ia, ddof=1)

# implication: given total number of events, distribution of times is uniform
# binned version
n_mean_bin = 10
n_bins_a = nobs // 10
bin_limits_a = np.linspace(0, t_total+1e-7, n_bins_a + 1)
nfreq_a, bin_limits_a = np.histogram(times_a, bin_limits_a)
# expect uniform distributed over every subinterval
expected_a = np.ones(n_bins_a) / n_bins_a * nobs
print stats.chisquare(nfreq_a, expected_a, ddof=1)
于 2013-09-17T19:09:13.233 に答える
1

2 つの分布が異なるかどうかを判断するときのKS テストは、単純にそれらの間の最大の差です。

ここに画像の説明を入力

これは自分で計算するのに十分簡単です。以下のプログラムは、異なるパラメーター セットを持つ 2 つのポアソン過程の KS 統計を計算します。

import numpy as np

N = 10**6
X  = np.random.poisson(10, size=N)
X2 = np.random.poisson(7, size=N)

bins = np.arange(0, 30,1)
H1,_ = np.histogram(X , bins=bins, normed=True)
H2,_ = np.histogram(X2, bins=bins, normed=True)

D = np.abs(H1-H2)

idx = np.argmax(D)
KS = D[idx]

# Plot the results
import pylab as plt
plt.plot(H1, lw=2,label="$F_1$")
plt.plot(H2, lw=2,label="$F_2$")
text = r"KS statistic, $\sup_x |F_1(x) - F_2(x)| = {KS:.4f}$"
plt.plot(D, '--k', label=text.format(KS=KS),alpha=.8)
plt.scatter([bins[idx],],[D[idx],],s=200,lw=0,alpha=.8,color='k')
plt.axis('tight')
plt.legend()

ここに画像の説明を入力

于 2013-09-16T19:56:58.950 に答える
0

問題は、リンク先のドキュメントが示唆するよう"The KS test is only valid for continuous distributions."に、ポアソン分布が離散的であることです。

このリンクの例を使用することをお勧めします: http://nbviewer.ipython.org/urls/raw.github.com/CamDavidsonPilon/Probabilistic-Programming-and-Bayesian-Methods-for-Hackers/master/Chapter1_Introduction /Chapter1_Introduction.ipynb (「##### 例: テキスト メッセージ データからの動作の推測」を探します)

そのリンクでは、特定のデータセットの適切なラムダをチェックし、ポアソン過程に従って分布すると想定しています。

于 2013-09-16T19:43:47.220 に答える