問題タブ [influxdb]

InfluxDB は本当にクールな時系列 DB だと思います。

私はそれを中間データアグリゲーター (多くのセンサーから時間ベースのメトリックを収集する) として使用することを計画しています。

データは「移動ウィンドウ」方式で処理する必要があります。X 個のサンプルを受信すると、Python ベースの処理アルゴリズムをトリガーする必要があります。

十分なデータが集約されたときにアルゴリズムをトリガーするのに最適な待機時間はどれですか? (選択クエリを使用したポーリングは最適なオプションではないと思います)。

待機できるイベントはありますか?

ありがとう！メイア

私はgrafanaやinflugaなどのツールを使用してきました。これらは、チャートやさまざまなタイプのグラフを含むダッシュボードの作成を容易にする素晴らしいプロジェクトです。

これらのアプリの 2 つのコア機能を、既存の Web アプリで再利用できるスタンドアロンの JavaScript ライブラリに分離することは可能でしょうか (エンドユーザーも簡単に使用できるようにすることができます)。

主な機能は次の 2 つです。

• グラフ エディター (クエリ、ラベル、色など)
• グラフ表示 (グラフの表示、日付範囲の変更、ズームインとズームアウト、ecc)

grafana や同様のソリューションの問題は、既存の Web アプリとの統合が容易ではないことです。これらのプロジェクトは複雑さが増し、新しい機能が追加されていますが、多くの人が必要としているのは、既存の Web アプリへの何らかの統合です。

これに取り組んでいる人はいますか？はいの場合、最も有望なプロジェクトを 2 つ挙げてください。

I am looking through all the InfluxDB examples, and they all seem to insert with "time now" (time of insert). There is a well-defined "time" field, but none of the examples use it.

Recording the time of an event as "insert time into the DB" is a poor pattern. It's always better to have the sensor attach to the sensor value its idea of the current time, pass that record around, and insert into various analytics DBs with that time value. ( really small sensors might have a "controller" that knows time better, but that's still not the database insert ).

An obvious example is log files. Each line has a timestamp, right at the beginning. Love it or hate it, but that's your best view of the time the event happened.

I'm looking for examples of inserting into InfluxDB with a specified time value, and haven't come up with one yet. Time appears to always be the implied current time.

InfluxDB では、多次元ハッシュ値をデータベースに投稿できますか?

たとえば、次のハッシュ:

できる場合は、どのようにしますか？http 管理インターフェイス経由で試してみると、エラーも成功も返されません。

私の場合、デバイスの 15 のパフォーマンス メトリックを取得し、InfluxDB に保存する必要があります。各デバイスには固有のデバイス ID があります。

メトリックは、次の方法で InfluxDB に書き込まれます。ここでは例として 1 つだけ示します

データの書き込みは高速で簡単です。しかし、クエリを実行するとパフォーマンスが低下しました。過去 1 時間の 15 個のメトリック値をすべて取得しようとしています。

1 時間で、各メトリクスには 120 のデータ ポイントがあり、合計で 1800 のデータ ポイントになります。c4.4xlarge EC2 インスタンスがアイドル状態の場合、クエリには約 5 秒かかります。

InfluxDB の方がうまくいくと思います。これは私のスキーマ設計の問題ですか、それとも別の問題ですか? クエリを 15 の並列呼び出しに分割すると、高速になりますか?

Grafanaで 2 つの時系列を減算するにはどうすればよいですか? または、2 つを足し合わせる、1 つずつ割る、など...? 時系列間の差を取ることについてオンラインで漠然としたヒントを見つけましたが、実際にそうする方法を教えてくれるものは何もありません。私は Influxdbv2.0.2で Grafanaを使用しており、適用できる演算子v0.8などを発見するのに十分なほどグラフ コントロールをいじりましたが、その使用方法がわかりません。differenceこれに関するドキュメントを見つけようとしましたが、見つけることができる最も近いものは、このトピックについてほとんど沈黙しており、これらのスクリーンショットが撮られてからインターフェイスが変更されたため、少し古くなっているようです.

ありがとう！

Influx を使用して時系列データを保存しました。うまくいったときはクールだったのですが、約 1 か月後には動作しなくなり、原因がわかりませんでした。(この問題に似ています https://github.com/influxdb/influxdb/issues/1386 )

Influx はいつか素晴らしいものになるかもしれませんが、今のところはもっと安定したものを使用する必要があります。私はPostgresについて考えています。私たちのデータは多くのセンサーから取得され、各センサーにはセンサー ID があります。したがって、データを次のように構造化することを考えています。

(pk)、センサー ID (文字列)、時間 (タイムスタンプ)、値 (フロート)

Influx は時系列データ用に構築されているため、最適化が組み込まれている可能性があります。Postgres を効率的にするには、自分で最適化を行う必要がありますか? 具体的には、次の質問があります。

1. Influx にはこの「シリーズ」という概念があり、新しいシリーズを作成するのは安価です。そのため、センサーごとに個別のシリーズがありました。センサーごとに個別の Postgres テーブルを作成する必要がありますか?

2. クエリを高速化するには、インデックスをどのように設定すればよいですか? 典型的なクエリは次のとおりです: 過去 3 日間の sensor123 のすべてのデータを選択します。

3. 時間列にタイムスタンプまたは整数を使用する必要がありますか?

4. 保持ポリシーを設定するにはどうすればよいですか? たとえば、1 週間以上経過したデータを自動的に削除します。

5. Postgres は水平方向にスケーリングしますか? データ複製と負荷分散のために ec2 クラスターをセットアップできますか?

6. Postgres でダウンサンプリングできますか? date_trunc を使用できるいくつかの記事を読みました。しかし、25秒などの特定の間隔にdate_truncできないようです。

7. 私が見逃した他の警告はありますか？

前もって感謝します！

更新 時間列を大きな整数として保存する方が、タイムスタンプとして保存するよりも高速です。私は何か間違ったことをしていますか？

タイムスタンプとして保存します：

それを大きな整数として保存します：