問題タブ [phoenix]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
hbase - 非常に高速にアクセスできるビッグデータ
問題に直面しています: プロセス プラントのデータベースです。50 ミリ秒のサンプリング レートで最大 50,000 個のセンサーがあります。すべての測定値は少なくとも 3 年間保存する必要があり、リアルタイム クエリをサポートする必要があります (つまり、ユーザーは 1 秒未満の遅延で履歴データを表示できます)。私は最近Time-series Databaseに関する記事を読みました。OpenTSDB、KairosDB、InfluxDB など、多くのオプションが用意されています。
どちらが目的に適しているか混乱していますか？これについて知っている人は私を助けてください！
更新 15.06.25
今日、OpenTSDB に基づいたテストを実行します。Virtual Box を使用して、3 つの CentOS x64 VM (1 つのマスター、2 つのスレーブ) のクラスターを作成しました。ホスト構成は 8 GB RAM、core i5 です。マスター VM 構成は 3 GB RAM で、スレーブ構成は 1.5 GB RAM です。以下のように、データを OpenTSDB に送信する python プログラムを作成します。
ホストで python を実行すると、作業は約 220 秒後に完了します。だから、私は平均を得ました。毎秒最大 45000 レコードの速度。
更新 15.06.29
今回は 1 つの VM (5 GB RAM、3 コア、CentOS x64、疑似分散 Hadoop) のみを使用しました。Windows 7 ホストで 2 つの Python プロセスを実行して、データの 2 つの半分を OpenTSDB に送信します。平均 データの書き込み速度は、1 秒あたり最大 100,000 レコードでした。
hadoop - Apache Phoenix を構成しようとすると HBase リージョン サーバーがダウンする
CDH 5.3.1とHBase 0.98.6-cdh5.3.1を使用しており、 Apache Phoenix 4.4.0を構成しようとしています。
Apache Phoenix のインストールで提供されているドキュメントに従って
両方の lib ディレクトリ (/opt/cloudera/parcels/CDH-5.3.1-1.cdh5.3.1.p0.5/lib/hbase/lib) に phoenix-4.4.0-HBase-0.98-server.jar ファイルをコピーしましたマスター サーバーとリージョン サーバー
Cloudera Manager から HBase サービスを再起動しました。
HBase インスタンスを確認すると、リージョン サーバーがダウンしており、ログ ファイルに問題は見られません。
phoenix フォルダーからすべての jar をコピーしようとしても、同じ問題に直面しています。
Phoenix 4.3.0 と 4.1.0 を設定しようとしましたが、まだうまくいきません。
この問題を解決するために他に何を設定する必要があるか、または他に何かする必要があることを教えてもらえますか
hadoop - MapReduce を使用して列ファミリーを含むデータを Apache Phoenix を使用して HBase に挿入する
HBase と Phoenix は初めてです。Apache Phoenix を使用して MapReduce を使用して、複数の列ファミリーの HBase テーブルにデータを挿入しようとしています。
これは、Phoenix によって作成された私の HBase テーブルです。
上記の Phoenix create table 構文から、テーブルは単純に次のようになります。
ご覧のとおり、各アーティファクトには、列ファミリー、関連付け、および修飾子の artifact_id によって識別される関連する多数のアーティファクトがあります。
私の質問に戻ると、データを読み取り、上記のテーブルに入力する mapreduce ジョブを書きたいと思います。
これが私が持っているものです
マッパー
Defect Writable (テーブルに書き込む)
データインポーター
コードは現在、PLANNING_FOLDER_ID、ARTIFACT_ID、CATEGORY、ROOT_CAUSE 列にデータを挿入します。一部のアーティファクトには複数の関連アーティファクトが存在する可能性があるため、 ASSOCIATION:ARTIFACT_ID に挿入する方法がわかりません。私の現在のソリューションはhttps://phoenix.apache.org/phoenix_mr.htmlに基づいています。
誰でもこれで私を助けることができますか？私はhbaseを初めて使用するので、私の現在のテーブル設計についてコメントしてもらえますか? テーブル (association:artifact_id 用の別のテーブル) を分離し、クエリ時に結合することを考えました。しかし、私はパフォーマンスを負担します。
不明な点がある場合は、以下にコメントしてください:)
前もって感謝します
ペラナット
phoenix - フェニックスで HH:mm:ss を表示しない日付データ型
現在、データベースに 2 つの日付データ型列を持つ行があります。選択してそれらの列を取得すると、「YYYY-MM-DD」しか表示されず、「HH:mm:ss」も表示できるかどうか疑問に思っていました。選択を行うときに分レベルでフィルタリングできるため、データがそこにあることにも言及する必要があります。