問題タブ [hawq]

PostgreSQL の場合、パフォーマンス向上のためにデータをキャッシュするための共有メモリがあります。OLAP データベースとして、HAWQ はどのようにデータをキャッシュしますか? PostgreSQL と比較した設計の類似点と相違点は何ですか? ありがとう。

HAWQ 2.0 をデプロイしようとしましたが、HAWQ マスターを実行できませんでした。以下はエラーログです。

これはAdvanced gpcheck

メモリに不満があるように見えますが、変更するパラメータが見つからないようです。shared_buffersとはどこmax_connectionsですか？

このエラーを一般的に修正するにはどうすればよいですか? ありがとう。

ストリーミング データを hawq に挿入し、オンライン データに対してクエリを実行する方法。

1. jdbc挿入をテストしましたが、パフォーマンスは非常に悪かったです。

2. その後、flume で hdfs にデータを書き込むテストを行い、hawq で外部テーブルを作成しましたが、flume がファイルを閉じるまで hawq はデータを読み取ることができません。問題は、flume ファイルのローリングを非常に低く (1 分) 設定すると、数日後にファイル数が増え、hdfs には適していないことです。

3. 3番目の解決策はhbaseですが、私のクエリのほとんどは多くのデータの集計であるため、hbaseは適切な解決策ではありません(hbaseは単一のデータを取得するのに適しています)。

これらの制約がある場合、hawq を使用してストリーミング データをオンラインでクエリするための適切なソリューションは何でしょうか?

3 つのノードがあり、ambari で hdfs と重要な hawq をセットアップしようとしています。既に 3 台のマシンすべてでパスワードなしの ssh を有効にしていますが、hawq サービスを開始すると、「すべての HAWQ ホストでパスワードなしの ssh のセットアップに失敗しました」というエラーが表示されます。この問題の解決に役立ちます。 ここに画像の説明を入力

hdfs、map reduce、hawq、pxf を ambari でデプロイした後、impala-tpcds-kits を使用して hdfs で約 10G のデータを生成しました。

しかし、ユーザー postgres で Postgres にログインすると、コマンド ラインCREATE EXTERNAL TABLEを使用して hdfs 上のデータにインデックスを付けることができません。psql help コマンドを使用すると、キーワードがありませんCREATE EXTERNAL TABLE。

どうしてか分かりません？

Amazon EC2 でプロビジョニングされた RedHat サーバーに HAWQ をインストールしています。クラスターには既に HDP 2.3 がセットアップされています。Githubから HAWQ を複製しました。

まず私が実行し./configure --prefix=/opt/hawqます。

2 番目のステップでは、 を実行しmakeます。makeのルート フォルダーから実行すると、依存関係が正しくコンパイルされますincubator-hawq。ルート ディレクトリ ( )のフォルダーmakeからコンパイルに移動すると、次のエラーが発生します。srcincubator-hawq

コンパイラが を見つけられないことはわかっていますhdfs/hdfs.hが、依存関係 ( libhdfs3) が正常にコンパイルされたため、特定のファイルが見つからない理由がわかりません。私がここでほとんど立ち往生しているので、誰かが同じ問題に遭遇した場合は助けてください。

小さな Hadoop と Greenplum クラスターがあります。
現在のデータ パイプライン フローは次のとおりです。

出力 : 1.GREENPLUM を使用してデータ パイプラインを拡張しようとしています。基本的に、HAWQ の内部テーブルまたは外部の読み取り可能なテーブル データを直接 greenplum にプッシュしたいと考えています。理由は、ファイルを編集したいからです。また、HAWQ は更新と削除をサポートしていません。データにアプローチまたはプッシュする別の方法はありますか。ガイドしてください。

2.gphdfsプロトコルでGPDB外部テーブル経由でHDFSデータにアクセスする方法

前もって感謝します！

私は、トランザクションになるように設計された複雑なプロセスを持っており、Spring アノテーションでトランザクションになるようにコーディングされています。XA 対応ドライバーを持つデータベースに対して実行すると、うまく機能します (XA をサポートするために各 RDBMS をセットアップするという頭痛の種は別として)。

ただし、HAWQ に接続しようとしています。HAWQ は XA を認識しており、本質的には「おお、ネリー、私はまだ XA を行っていません」と言っています。同様の制限を持つ他のバッキング ストアに出くわす可能性が高いため、正確な例外は重要ではなく、特定の非常に粗い制限内で、通常は XA コンテキストである非 XA データストアをサポートする必要があるという概念だけが重要です。

このプロセスは、XA が貴重な贅沢であるように構造化されていますが、XA スコープで捕捉されないトランザクションの失敗は重要ではありません。

HAWQ と通信するクラス (または将来の非 XA システムに接続するクラス) について、「呼び出し元がトランザクションであることは知っていますが、そうではありません」とメソッドに注釈を付ける方法はありますか?

@Transactional になるメソッドを除外する方法を既に確認しましたか? 、しかしそれは別の問題を解決しています。