問題タブ [quantile]

リクエストごとの応答時間のあるWebサーバーからのログファイルがあるとしましょう。

bashスクリプトを使用して、上位の十分位数（10分位）を見つける簡単な方法はありますか？言い換えれば、質問に答えるには、最も遅いリクエストの10％を除外した場合、最も遅いリクエストはどれくらい遅くなりましたか？

私のコードは、こことここで説明されているメソッドに基づいています。

使用例:

出力：

ここでの問題は、80 パーセンタイルが 90 パーセンタイルや 100 パーセンタイルよりも高いことです。ただし、私の実装が説明どおりであると言える限り、指定された例(0.9)に対して正しい答えを返します。

コードに表示されていないエラーがありますか? または、これを行うより良い方法はありますか？

大量のデータセットの分位数を数える必要があります。

一部の部分（つまり、大きな行列の1行）からのみデータを取得できると仮定します。Q3分位数をカウントするには、データのすべての部分を取得してどこかに保存してから、並べ替えて分位数をカウントする必要があります。

データを中間変数に格納せずに分位数を取得する方法を見つけたいと思います。最善の解決策は、最初の行の中間結果のいくつかのパラメーターをカウントし、次の行のために段階的に調整することです。

ノート：

• これらのデータセットは非常に大きいです（各行に約5000要素）
• Q3は見積もることができ、正確な値である必要はありません。
• 私はデータの部分を「行」と呼んでいますが、それらは異なる長さを持つことができます！通常、それほど変化しません（+/-数百サンプル）が、変化します！

この質問は、統計的中央値、最頻値、歪度、尖度を推定するための「オンライン」（イテレーター）アルゴリズムに似ていますが、分位数を数える必要があります。

また、このトピックにはいくつかの記事があります。

• 近似中央値選択問題のための効率的なアルゴリズム
• 大規模な追跡のための増分分位数推定

これらのアプローチを実装しようとする前に、0.25 /0.75分位数を数える他のもっと速い方法があるのではないかと思いました。

次のようなデータフレームがあります。

次のように、Treatment1とControlの単一のプロットを実行できます。

次のようになります。

Treatment2とControl...TreatmentXとControlの同様のプロットを自動的に作成したいと思います。これはループの場所ですか、それともラティスの方が良い方法ですか？

ここでの本当の目標は、Python で分位平均 (または合計、または中央値など) を見つけることです。私は Python のパワー ユーザーではありませんが、しばらく R を使用していたので、選択したルートは Rpy 経由です。しかし、返された平均のリストが分位数の順序に対応していないという問題に遭遇しました。特に、Rには次のものがあります。

これはすべて非常に良いです。しかし、コードを Rpy に変換すると、

最終的なリストの順序が間違っていることに注意してください (この場合、 と の両方が順序付けられているためa、それはわかっています)。b一般に、Rpy の最小分位数から最大分位数までの正しい順序を復元する方法がありません。助言がありますか？

さらに（上記の質問に対する答えを知りたいので、代用ではありません）、Pythonで直接分析を実行する方法を提案できれば、それも素晴らしいでしょう。(numpy または scipy がインストールされていません。) Thx!

編集：明確にするために、aペアになっbていますが、必ずしも順序付けられているわけではありません。たとえば、は目の大きさで、 は鼻の大きさです。私は、 のさまざまな分位点で、特派員s の平均が何であるかを調べようとしています。ありがとう。abab

分位数を表す係数を割り当てたいと思います。したがって、数値である必要があります。そのため、基本的に私の問題に対する答えである次の関数を書きました。

あなたは今笑うかもしれません:)。返されたリストには、すべての観測値を対応する分位数に割り当てるために使用できる変数が含まれています。私の質問は今です:それを行うためのより良い方法(より「ネイティブ」または「コア」)はありますか? 私は（gtoolsパッケージから）quantcutについて知っていますが、少なくとも私が得たパラメータでは、それらの扱いにくい（？ - 少なくとも私にとっては）しきい値だけで終わってしまいました。

改善に役立つフィードバックをお待ちしております。

quantregYahooから取得したデータに分位点回帰関数を実装しようとしています。rq()関数がデータを読み取れるように、株式データに対して手順を実行する必要があるようです。これを行う方法がわかりません。rq私の質問は、stocjデータを関数が読み取れる形式に変換する方法です。ありがとう

Rのパネルデータモデルの結果を解釈するには? 私のデータについて、パネル データを使用した分位点回帰アプローチに対する Koenker (2004) の提案の適応形式を推定します。

}enter code here

しかし、以下の結果を特定することはできません。

一部のデータの分位点を推定したい。データが大きすぎて、メモリに収まりません。そして、新しいデータが入り続けています。非常に限られたメモリと計算で、これまでに観測されたデータの変位値を監視するアルゴリズムを知っている人はいますか? P2 アルゴリズムは便利だと思います。しかし、非常に裾の重い分散している私のデータではうまく機能しません。

ドキュメントブーストから判断すると、正規分布とガンマ分布の両方に分位関数 (逆 cdf 関数) が提供されているようですが、実際にそれらをどのように使用できるかは明確ではありません。誰かが例を貼り付けてもらえますか?