問題タブ [kairosdb]

問題に直面しています: プロセス プラントのデータベースです。50 ミリ秒のサンプリング レートで最大 50,000 個のセンサーがあります。すべての測定値は少なくとも 3 年間保存する必要があり、リアルタイム クエリをサポートする必要があります (つまり、ユーザーは 1 秒未満の遅延で履歴データを表示できます)。私は最近Time-series Databaseに関する記事を読みました。OpenTSDB、KairosDB、InfluxDB など、多くのオプションが用意されています。

どちらが目的に適しているか混乱していますか？これについて知っている人は私を助けてください！

更新 15.06.25

今日、OpenTSDB に基づいたテストを実行します。Virtual Box を使用して、3 つの CentOS x64 VM (1 つのマスター、2 つのスレーブ) のクラスターを作成しました。ホスト構成は 8 GB RAM、core i5 です。マスター VM 構成は 3 GB RAM で、スレーブ構成は 1.5 GB RAM です。以下のように、データを OpenTSDB に送信する python プログラムを作成します。

ホストで python を実行すると、作業は約 220 秒後に完了します。だから、私は平均を得ました。毎秒最大 45000 レコードの速度。

更新 15.06.29

今回は 1 つの VM (5 GB RAM、3 コア、CentOS x64、疑似分散 Hadoop) のみを使用しました。Windows 7 ホストで 2 つの Python プロセスを実行して、データの 2 つの半分を OpenTSDB に送信します。平均 データの書き込み速度は、1 秒あたり最大 100,000 レコードでした。

OpenTSDB は超高速です。KairosDB は OpenTSDB の書き直しとして知られており、OpenTSDB よりもさらに高速であると主張されています (こちらを参照)。ただし、OpenTSDB 用の擬似分散クラスター (1 つのマスター、1 つのスレーブ、ローカル) と、私の VirtualBox (5 GB RAM、3 コア) 上の KairosDB 用の 1 ノード クラスターでいくつかのテストを行いました。挿入速度は OpenTSDB で約 100,000 レコード/秒、KairosDB で約 30,000 レコード/秒でした。KairosDB で何か間違った設定をしたのでしょうか、それとも OpenTSDB の方が実際には高速ですか?

Kairosdb からデータを取得するために Python でクエリを投稿しようとしています: meterreading は、既に作成したメトリックです。

このスクリプトの実行中に次の結果が得られます。

リクエストを送信してレスポンスを取得しようとすると、37行目に問題があるようです。JAVA でこれを実行できますが、Python では行き詰まります。私は何かが欠けていますか？

間違って投稿した場合は、ここにお知らせください。(注: KairosDB は Cassandra の上にあります。Hector を使用します)。

KairosDB Java クライアントを使用して、大量のサンプル データをデータストアにダンプしています。私は現在600万を投棄しており、次の方法ですべてを削除しようとしています：

一度にすべてのデータを削除しようとするためだけに、時間間隔パラメーターを削除したことに注意してください。

このメソッドを実行すると、ポイントは削除されないように見えます。JSON 形式のデータを使用してクエリをカールすることを選択し、「すべてのホスト プールがダウンとマークされました。再試行の負荷がクライアントにプッシュされました」という HectorException を受け取りました。

私の個人的な結論は、一度に削除するには 600 万は多すぎるということです。一度にピースを削除することを考えていましたが、KDB Java クライアント側から削除する行数を制限する方法がわかりません。KairosDB が本番環境で使用されていることは知っています。Java クライアントを使用して大量のデータを効果的に削除するにはどうすればよいですか?

ありがとうございました!

RF = 2、書き込み CL = 1、読み取り CL = 1 の 2 ノードの Cassandra クラスターで KairosDB を実行しています。ノード 2 へのデータの半分 (例: METRIC_5001 から METRIC_10000 へのメトリック)。理想的には、各ノードには常にすべてのデータのコピーがあります。しかし、1 つのノードが死んでいる場合、クライアントはすべてのデータを生きているノードに送信します。

クライアントがクラスターへのデータ送信を開始しました。30 分後、ノード 2 を 10 分間オフにしました。この 10 分間で、クライアントはすべてのデータをノード 1 に適切に送信しました。その後、ノード 2 を再起動すると、クライアントは 2 つのノードに適切にデータを送信し続けました。1 時間後、クライアントを停止しました。

ノード 2 が停止したときにノード 1 に送信されたデータが、ノード 2 に自動的に複製されたかどうかを確認したかったのです。これを行うために、ノード 1 をオフにして、ノード 2 がノード 2 から停止した時間内にデータをクエリしましたが、何も返されませんでした。これは、データがノード 1 からノード 2 にレプリケートされていないと思いました。私は質問を投稿しましたCassandra は、ノードがダウンして再びアップしたときに「遅い」レプリケーションを実行しませんか? . データは自動的に複製されたようですが、とても遅かったです。

私が期待しているのは、2つのサーバーの両方のデータが同じであることです（冗長性のため）。つまり、ノード 2 が停止したときにシステムに送信されたデータは、ノード 2 が使用可能になった後、ノード 1 からノード 2 に自動的に複製される必要があります (RF = 2 のため)。

ここでいくつか質問があります。

1) レプリケーションは本当に遅いですか? または、何か間違った設定をしましたか?

2）この質問のようにクライアントが各ノードにデータの半分を送信すると、データが失われる可能性があると思います（たとえば、ノード1がクライアントからデータを受信し、ノード1がデータをノード2に複製しているときに突然ダウンします）。私は正しいですか？

3) 2) で正しければ、次のようにします。クライアントはすべてのデータを 2 つのノードの両方に送信します。これにより 2) が解決され、1 つのノードが停止して後で使用可能になった場合にレプリケーションを利用することもできます。しかし、2つのノードの両方が同じデータを受信するため、これによりデータの重複が発生するのではないかと思っています。ここに問題はありますか？

ありがとうございました！

このリンクでは、次のように KairosDB にデータをインポートできることが示されています。

export.txt ファイルの形式がどうあるべきかわかりません

次のようなファイル(export.txt)があります。

そして、このデータを kairosDB に一括挿入したいのですが、どうすればよいでしょうか。

I am inserting data in kairosdb using the command: reference

bin/kairosdb.sh import -f export.txt

but in the kairosdb.log file I am getting following error:

My export.txt file is:

Please suggest how to fix this error.

コマンドを実行すると、次の例外が発生します。

sudo bin/kairosdb.sh import -f new.txt

データを一括挿入するには

問題の解決策を見つけるためにこのリンクを参照しました。つまり、Kairos を停止し、/tmp/kairos_cache フォルダーとすべてのサブフォルダーを削除してから、Kairos を再起動します。これは多くのユーザーに有効です。

しかし、私の場合はうまくいきません。他の解決策はありますか？