bash - 標準の Bash ユーティリティを使用して、データが安定するポイントを特定する

Question

私は一連のデータ (CSV 番号の 2 列) を持っていますが、これは最初はかなり変化し、その後、特定の数値付近で安定します。標準の Bash ユーティリティを使用して、自動化された方法でグラフが最初に安定するポイントを見つけようとしています。ASCII グラフでは、データは次のようになります。

y
^                                     ___ stabilised
| .                                  |
|  .                                 |
|    .    .                          |
|     .  . .    .       .            ▾
|      .    .  . .   . . .  . . . . . . . . . . . . . . . .
|             .   . .              .
------------------------------------------------------------> x

データは一定の値に達していませんが、安定した値の周りでわずかに変動していることに注意してください。標準の Bash ユーティリティを使用して、グラフが安定しているように見える最初のポイントを特定する方法はありますか?

Answer 1

あなたが望むのは、統計的定常性を検出することです。これはかなり難しい問題であり、研究論文[1]、[2]、[3]について書かれています。まず、任意のプログラミング言語 (Unix ユーティリティ、numpy/scipy を使用した Python、または選択したもの) を使用して実装する方法を検討する前に、実際に定常性を検出できるアルゴリズムを決定する必要があります。おそらく、時系列分析に関する優れた本がここで役立つでしょう。