問題タブ [opentsdb]

1 秒に 1 回インクリメントするバイト カウンター メトリックがあるとします。プロットすると、単調に増加するプロットが得られます。Y 軸には「バイト」というラベルが付いています。

カウンターの変化率をプロットしたいので、「率」チェックボックスをクリックします。レートは単位時間当たりの変化ですが、その単位は何ですか？Y 軸にはどのようなラベルを付ける必要がありますか?

1 回限りのスマートホーム データ収集ボックスを構築しています。raspberry-pi クラスのマシン (~1G RAM) で実行され、1 日あたり約 200K のデータ ポイント (それぞれ 64 ビット int) を処理することが期待されています。通常の MySQL を使用してきましたが、パフォーマンスが低下し始めており、特に特定の時間間隔内のエントリ数に関するクエリで顕著です。

私が理解しているように、これは基本的に時系列データベースが設計されているものとまったく同じです。どちらかといえば、私の状況で珍しいのは、音量が比較的低く、使用可能な RAM の量も少ないことです。

ウィキペディアをざっと見てみると、OpenTSDB、InfluxDB、およびおそらく BlueFlood が示唆されています。OpenTSDB は 4G の RAM を推奨していますが、それは大量の設定向けかもしれません。InfluxDB は実際にセンサーの読み取り値について言及していますが、必要なリソースの種類に関する多くの情報を見つけることができません。

さて、これが私の実際の質問です。これらのシステムのいずれかを、私が説明するプロジェクトに不適切なものにする明らかな危険信号はありますか?

私はこれが Flame への招待であることを理解しているので、人々がそれを明るく役立つ側に保つことを期待しています. よろしくお願いします！

問題に直面しています: プロセス プラントのデータベースです。50 ミリ秒のサンプリング レートで最大 50,000 個のセンサーがあります。すべての測定値は少なくとも 3 年間保存する必要があり、リアルタイム クエリをサポートする必要があります (つまり、ユーザーは 1 秒未満の遅延で履歴データを表示できます)。私は最近Time-series Databaseに関する記事を読みました。OpenTSDB、KairosDB、InfluxDB など、多くのオプションが用意されています。

どちらが目的に適しているか混乱していますか？これについて知っている人は私を助けてください！

更新 15.06.25

今日、OpenTSDB に基づいたテストを実行します。Virtual Box を使用して、3 つの CentOS x64 VM (1 つのマスター、2 つのスレーブ) のクラスターを作成しました。ホスト構成は 8 GB RAM、core i5 です。マスター VM 構成は 3 GB RAM で、スレーブ構成は 1.5 GB RAM です。以下のように、データを OpenTSDB に送信する python プログラムを作成します。

ホストで python を実行すると、作業は約 220 秒後に完了します。だから、私は平均を得ました。毎秒最大 45000 レコードの速度。

更新 15.06.29

今回は 1 つの VM (5 GB RAM、3 コア、CentOS x64、疑似分散 Hadoop) のみを使用しました。Windows 7 ホストで 2 つの Python プロセスを実行して、データの 2 つの半分を OpenTSDB に送信します。平均 データの書き込み速度は、1 秒あたり最大 100,000 レコードでした。

OpenTSDB は超高速です。KairosDB は OpenTSDB の書き直しとして知られており、OpenTSDB よりもさらに高速であると主張されています (こちらを参照)。ただし、OpenTSDB 用の擬似分散クラスター (1 つのマスター、1 つのスレーブ、ローカル) と、私の VirtualBox (5 GB RAM、3 コア) 上の KairosDB 用の 1 ノード クラスターでいくつかのテストを行いました。挿入速度は OpenTSDB で約 100,000 レコード/秒、KairosDB で約 30,000 レコード/秒でした。KairosDB で何か間違った設定をしたのでしょうか、それとも OpenTSDB の方が実際には高速ですか?

HBase (仮想ボックス上の疑似分散 Hadoop) 経由で OpenTSDB を使用して、非常に高い負荷 (~ 50,000 レコード/秒) でデータを送信しました。システムはしばらく正常に動作していましたが、突然ダウンしました。OpenTSDB と HBase を終了しました。残念ながら、二度とそれらを持ち出すことはできませんでした。HBase と OpenTSDB を実行しようとするたびに、エラー ログが表示されました。ここにログをリストします。

地域サーバー:

主人：

これは regionserver のものと同じです:

この：

その後、hbase を再起動すると、regionserver で次のエラーが表示されました。

アップデート

今日、私は非常に軽いトラフィックでテストを行いました: 1000 レコード/秒で 2000 秒間、問題が再び発生しました。

Ubuntuで初めてopentsdbのインストールを行っています。インストールについては、次のドキュメントに従っています: http://opentsdb.net/docs/build/html/installation.html#id1 http://opentsdb.net/setup-hbase.html

コマンドの実行時に次のエラーが発生します

Abharthan/opentsdb$ env COMPRESSION=NONE HBASE_HOME=/home/administrator/Abharthan/hbase-0.98.13-hadoop1 ./src/create_table.sh

OpenTSDB をインストールした後: hbase、gnuplot、JDK などを既にインストールしています。

以下に関するいくつかのエラーがありました。

1. Zookeeper に接続できません

   これに対するいくつかの回答は次のように示唆しています:

しかし、私は Zookeeper を明示的にインストールしませんでした。opentsdb/hbase 自体によってインストールされるはずでした。この変更を行うためのこのファイルはどこにありますか。

2. お使いのプラットフォームのネイティブ Hadoop ライブラリを読み込めません

3. SLF4J: クラスパスには複数の SLF4J ビルドが含まれています

   HBase シェル; サポートされているコマンドのリストについては、「help」と入力してください。HBase Shell バージョン 0.98.13-hadoop1、r8f54f8daf8cf4d1a629f8ed62363be29141c1b6e、Wed Jun 10 22:18:15 PDT 2015 を終了するには、「exit」と入力します。

   create 'tsdb-uid', {NAME => 'id', COMPRESSION => 'NONE', BLOOMFILTER => 'ROW'}, {NAME => 'name', COMPRESSION => 'NONE', BLOOMFILTER => 'ROW '} SLF4J: クラス パスに複数の SLF4J バインディングが含まれています。SLF4J: [jar:file:/home/administrator/Abharthan/hbase-0.98.13-hadoop1/lib/slf4j-log4j12-1.6.4.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J でバインドが見つかりました: [jar:file:/usr/local/hadoop/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J でバインドが見つかりました: http:/を参照してください/www.slf4j.org/codes.html#multiple_bindings説明のために。2015-07-03 08:44:12,270 エラー [メイン] Zookeeper.RecoverableZooKeeper: ZooKeeper が存在し、4 回の試行後に失敗しました2181, baseZNode=/hbase znode (/hbase/hbaseid) にウォッチャーを設定できません:99) org.apache.zookeeper.KeeperException.create(KeeperException.java:51) で org.apache.zookeeper.ZooKeeper.exists(ZooKeeper.java:1045) で org.apache.hadoop.hbase.zookeeper.RecoverableZooKeeper. org.apache.hadoop の org.apache.hadoop.hbase.zookeeper.ZKUtil.checkExists(ZKUtil.java:481) に存在 (RecoverableZooKeeper.java:222)。createConnection(HConnectionManager.java:459) . . .

次のように hbase サーバーを起動できます。

次のコマンドの実行

Abharthan/opentsdb$ ./build/tsdb tsd --port=4242 --staticroot=build/staticroot --cachedir="$tsdtemp"

次の結果が得られます。

2015-07-03 09:49:19,220 INFO [メイン] TSDMain: 開始しています。2015-07-03 09:49:19,231 情報 [メイン] TSDMain: リビジョン 45e575a (MINT) で構築された net.opentsdb 2.1.0 2015-07-03 09:49:19,232 情報 [メイン] TSDMain: 2015/06 に構築/30 21:00:14 +0000 by IdeaCentre-Q190:/home/administrator/Abharthan/opentsdb/build 2015-07-03 09:49:19,255 INFO [main] 構成: 構成が見つかりません。既定値が使用されますキャッシュ ディレクトリがありません

誰かが問題を提案できますか。

また、ブラウザで localhost:4242 として開くことができると書かれていますが、サービスが使用するポートについてはどこで言及すればよいでしょうか。

私は OpenTSDB を初めて使用します。OpenTSB をすべての依存関係とともに正常にインストールしました。プロットすると、ログ ファイルに次のようなエラーが表示されます。

この問題のいくつかの解決策は、Octava 用に x11 をインストールする必要があることを示しています

これは私の場合はうまくいきません.MacではなくUBUNTUを使用しています.

Bosun を使用してデータを分析できるように、openTSDB データベースに書き込もうとしています。

Bosun インターフェースを介して手動でデータを追加すると正常に動作しますがPOST、< docker-ip>/api/put(<docker-ip>正しく構成されている場所) にリクエストすると、Bosun にデータが表示されません。

データ ポイントを Java アプリケーションから JSON として送信すると、Bosun には何も表示されませんが、クロム アプリ 'Postman' を使用してリクエストを送信すると、メトリックは表示されますが、リクエストで送信したデータは表示されません。 .

これは私が送信しているデータです：

を返します200 response code。Postmaster を使用して Java アプリケーションと同じアドレスに同じリクエストを送信しますが、Postmaster リクエストは Bosun でメトリック名を表示しますがデータは表示せず、Java リクエストはメトリック名さえ表示しません。