問題タブ [opentsdb]

時系列データをログに記録するための rrdtool に代わるものがあるかどうか知りたいです。多数のデバイスを監視するために拡張できるものを探しています。

この件について私が読んだことによると、rrdtool は、大量のデータでヒットすると I/O バウンドになります。私はこれを非常に多くのデバイスを監視するように拡張することを想定しているので、I/O を詰まらせない代替手段があるかどうか知りたいです。SQL ベースが望ましいですが、必ずしもそうとは限りません。

ありがとう

HBaseを使用して時系列データを保存しようとしています。私たちが現在持っているモデルは、時系列をセル内のバージョンとして保存しています。これは、セルが最終的に何百万ものバージョンを格納する可能性があることを意味し、この時系列に対するクエリは、HBaseの Get クラスで使用可能な setTimeRange メソッドを使用して、バージョンの範囲を取得します。

例えば

これは、時系列データを HBase に格納するための妥当なモデルですか?

データを複数の列に格納する代替モデル (複数の列にわたってクエリを実行できますか) と行のどちらが適していますか?

何百万もの時系列エントリ（長い時間、2倍の値）をJavaで保存したいと思います。（私たちの監視システムは現在、すべてのエントリを大きなmySQLテーブルに保存していますが、パフォーマンスは非常に悪いです。）

Javaで実装された時系列データベースはありますか？

OpenTSDBは初めてです。どういうわけかOpenTSDBをインストールして構成できましたが、クライアントからOpenTSDBにデータを入れる方法がわかりません。誰か助けてくれませんか？

以下の要件を備えたセンサー データ収集システムを評価しています。

1. 毎分 100 バイトのデータを送信する 100 万のエンドポイント (時系列)。

2. 基本的に、ストレージへの数百万回の小さな書き込み。

   /li>
3. 
   アクセス要件 ユーザーの完全なデータは、定期的にアクセスする必要があります (頻度は低くなります)
   b. ユーザーの部分的なデータには、定期的に (より頻繁に) アクセスする必要があります。たとえば、分析/レポートのために、過去 1 時間/日/週/月に収集されたセンサー データが必要です。

オプションとして Hive/HDFS を検討し始めました。そのようなユースケースでのHiveの適用性について誰かコメントできますか? 分散ストレージのニーズは機能するものの、リアルタイムのデータ収集/ストレージよりもデータ ウェアハウジング アプリケーションにより適しているように思われることを懸念しています。

このシナリオでは、HBase/Cassandra のほうが理にかなっていますか?

メトリクス データを OpenTSDB に送信するために、netcat の代わりに Python ソケットを使用しようとしていますが、うまくいきませんでした。そうすることが可能かどうか誰でも教えてもらえますか？

s.send(...)ゼロ以外の値を返すので、文字列が実際に送信されたと思います.OpenTSDBがそれを認識していないだけです. netcat を使用して同じ文字列を送信しようとしましたが、動作します。

何らかの理由で、ブランチバージョンのhadoopコアjarを使用するhbase 0.90.xは、hadoopのどのリリースでもうまく機能しないため、opentsdbを移行してhbase0.92を使用しようとしています。悲しいことに、すべてを構成して接続した後、hbaseのログに次のエラーが常に発生しました

opentsdbのフロントエンドUIを検索すると、このエラーが発生しました

これは、asynchbase-1.2がhbase0.92でうまく機能しないためです。誰か助けてもらえますか？

opentsdb からのデータを格納するために hbase クラスターをセットアップしました。最近、一部のノードの再起動により、hbase はテーブル「tsdb」を失いました。hbase のマスター ノード ページでは引き続き表示できますが、クリックすると tableNotFoundException が発生します。

「tsdb」テーブルを見つけようとしてhbaseシェルに入りましたが、同様のメッセージが表示されました

ただし、このテーブルを再作成しようとすると、hbase シェルからテーブルが既に存在することがわかりました...

また、hbase シェルでテーブルを一覧表示することもできます

ログを見ると、これが問題の原因であることがわかりました

.META. に tsbb の行が見つからないと表示されますが、実際には .META. に tsdb 行があります。

これは、クラスターで「hbck」を実行した後の結果です

私は走った

残念ながら私の問題は解決しません

誰かがこれについて私を助けてくれますか

1. このテーブル「tsdb」を復元することは可能ですか?
2. 1 を実行できない場合、「tsdb」を適切に削除して新しいものを作成する方法は提案されていますか?
3. ノードを再起動する最も推奨される方法を教えていただければ幸いです。現在、マスターノードを常に稼働させています。他のノードでは、再起動直後にこのコマンドを実行します。

指図：

どうもありがとう！

SOでの（一種の-C＃とは直接関係ありません）関連の質問は次のとおりです。OpenTSDB（時系列データベース）にデータを挿入する方法; そこで述べたように、（Linuxで）簡単に機能する基本的なシェルコマンドは次のとおりです。

私の質問は、C# で OpenTSDB 用のコレクターを作成した人はいますか? 私が直面している問題は、tsd インスタンス/ポートへのソケットを開くことができ、そのストリームに次のように書き込んでも、何も起こらないように見えることです。

私はインターネットワーク、ストリームベースの TCP ソケットを作成しており、上記の文字列を ASCII、UTF-8、-16、および -32 でエンコードされたバイトとして送信しようとしましたが、すべて無駄でした。

どの種類のソケットのポインタと、どの種類のエンコードされたバイトを使用する必要があるかは、本当に役に立ちます。私が達成しようとしているのと同じことのJavaコードサンプルは次のとおりです。