問題タブ [hawq]

いくつかの前処理の後に HAWQ から GREENPLUM にデータをプッシュしたいこの不安定なクライアントがいます。これを行う方法はありますか？そうでない場合、HAWQ が実行されている HDFS から読み取る外部テーブルを greenplum で作成することは可能ですか?

どんな助けでも大歓迎です。

シンプルなtalendジョブを使用してgreenplum HAWQでビューを作成したいのですが、基本的にすべてのビューを含むファイル入力があり、CREATE VIEWスクリプトを実行する必要があります。

これらのビュー (50 ～ 60.000) はオラクル システムからのものであるため、作成できなかったビューを見つける必要があります。

これが私の問題のモックアップです：

DB に既にビューがあり、さらに 3 回作成したいと考えています。これは明らかに失敗します。

出力は次のとおりです。

クエリを 3 回実行しようとするため、この出力を 3 回表示したいと考えています。(最終バージョンでは、失敗したクエリのみを含む別のファイルを作成して、後で修正できるようにしますが、これは重要なポイントです。)

回避策として、この tRow -> OnError -> FixedFlow -> FailedViews の部分を別のジョブに移動できますが、それは洗練された解決策ではありません。

HAWQがインストールされたGreenplumに取り組んでいます。Hadoop ストリーミング ジョブを実行したいと考えています。ただし、hadoop が構成または開始されていないようです。hadoop ストリーミングを使用できることを確認するために mapred を起動するにはどうすればよいですか?

こんにちは、Oracle と SQL Server にテーブルがあります。Spring XD を使用して、oracle および sql サーバーから Pivotal HAWQ にデータをロードする必要があります。ドキュメントで見つかりませんでした。

私はPostgreSQL 8.2.15（Greenplumデータベース4.2.0ビルド1）（HAWQ 1.2.1.0ビルド10335）に取り組んでいます。

私は次のような関数を書きました

私はそれを次のようにテストしました

それは完全に機能します！

ここに問題があります。関数を次のように呼び出すと

Postgresはあなたが間違っていると言った!

エラー: リレーション "my_table1" が存在しません (segXX sliceX xx.xx.xx:40003 pid=570406)

• これらのテーブルと関数は同じスキーマにあります。
• 私はそれらにアクセスできます。
• どちらの名前も小文字です。

だから、私を助けてください。

私が試したこと

• これらのテーブルを my_schema から public に移動します
• 関数をパブリックに移動
• my_schema.my_table1 のようなスキーマ プレフィックスを追加します。

2015/04/19 編集

Postgre -> Postgre

そして、私はそれを次のように試しました

大丈夫です。

その関数を次のように編集する場合

どんな場合でも機能します。

SAS と Hadoop の統合を理解しようとしています。私が理解していることから、proc sql のような SAS プロセスは SAS データセットに対してのみ機能し、hadoop ノード上のテキスト ファイルに対して proc sql を発行することはできません。それが正しいか？

はいの場合、ETL ジョブを使用して、最初に HDFS からデータを取得し、SAS テーブルに変換する必要があります。しかし、そうすると Hadoop の並列処理能力が失われてしまいますよね?

では、SAS と Hadoop を統合し、Hadoop の並列処理能力を引き続き使用するには、どのような方法が理想的でしょうか?

SAS 内からマップ リデュース ジョブを呼び出せることは承知していますが、SAS でマップ リデュース ジョブを記述できますか? ないと思います。

HAWQ のデータを RESTful API として多くのコンシューマに、Web サービス セキュリティを備えた JSON 形式のモバイル アプリ、Web アプリなどに提供する必要があるという要件があります。基本的には、データ レイクからさまざまなアプリケーションへのサービスとしてのデータです。詳細なアーキテクチャまたはそれに関するいくつかの指針を教えてください。Pivotal HD 3.0 を使用しています