問題タブ [hcatalog]

I get the following error while executing a MapReduce program. I have placed all jars in hadoop/lib directory and have also mentioned the jars in -libjars.

This is the cmd I am executing:

Its been almost 3 hours and I'm not able to build this. Please can anybody provide the steps. All the documents suggest to use hcatalog-src-0.5.0-incuvating.tar.gz but this is not available anywhere on internet (ad far as I've searched). Then I downloaded the branch 0.5.0 but as per the documentation http://docs.hortonworks.com/HDPDocuments/HDP1/HDP-1.2.0/ds_HCatalog/install.pdf

of version 0.5.0 you have to build l=using command

Now the problem is that the build.xml do not have a target named 'tar'. So I just browsed the build.xml and tried the same command using target as 'package'

but then its showing me error.

Please help me out.

私はちょうどハイブで何かを試していて、PigでHcatLoaderを試していました。私が行ったことは、Hiveでビューを作成し、HcatLoaderを使用してpigに作成したビューでデータをロードしようとしたことです。しかし、それは機能していないようです。これを行う方法があることを確認したかっただけですか？HcatLoaderを使用してpigにビューを読み込もうとすると、次のエラーが発生します

events = Load'ViewName' using org.apache.hcatalog.pig.HCatLoader（）; イベントをダンプします。

View from Hiveの代わりにtableNameを使用すると、機能するようです。さらに、メタストアエラーは発生しません。ダンプに関しては、loadステートメントでメタストアに正常に接続されていると表示されているため、次のエラーでクラッシュします。

任意のポインタが役立ちます。

ありがとう、アトゥル

CDH4 (Ubuntu 12.04 64 ビット) を使用して Hcatalog をインストールしました。現在、REST を使用してテーブル情報にアクセスしようとしています。

webhcat-server を再起動しましたservice webhcat-server restart。次に、ターミナルでこれを実行しました。

そして、私は得ました、

{"databases":["default","testas"]}

予想どおり（そして正しい）。

これを数回試しましたが、同じ出力が得られました。

次に、ブラウザで同じことを試してみたところ、

その後、ターミナルに戻って試してみました。

現在は機能せず、出力します

なぜこうなった？

ノート：

で、パスワードを既存のものから/etc/hcatalog/proto-hive-site.xmlに変更しました。javax.jdo.option.ConnectionPasswordPASSWORDhive

エラーがあることは知っていlog4jますが、これと関係があるとは思えません

Hive を介してデータをロードし、Impala を介してクエリを実行し、Pig を使用していくつかのスクリプトを実行できるように、Hive の上に HCatalog をインストールするための優れたチュートリアルを誰かが知っているかどうか疑問に思っています。

Cloudera から VM をダウンロードするのが最良の選択肢であるかどうか疑問に思っていますが、Hive で HCatalog を実行するためのチュートリアル (構成手順で明確) をあまり見たことがありません!

前もって感謝します ：）

Hive クエリのパフォーマンスを分析しようとしています。Java で Hive クエリを作成することはできましたが、各クエリの後に生成されるログ情報にアクセスする必要があります。ハックを使用してディスク上の最新のログを読み取り、正規表現を使用して数値を抽出する代わりに、既に利用可能な場合は適切な方法を探しています。

どんなポインタも役に立ちます。前もって感謝します。

-lg

スタンドアロンで作業しています (クラスターはまだ構成されていません)。HCatalog でファイルから新しいテーブルを作成しようとしましたが、次のエラーが発生しました。

field larger than field limit (131072)

この値は、io.file.buffer.size131072 に設定されている の値のようです。これでよろしいですか? しかし、このオプションの説明は Size of read/write buffer used in SequenceFilesであるため、まったくわかりません。私のファイルはテキストファイルです。よくわかりませんが、これは変更するのに適したプロパティです。

何か案が？

PigStorage() を使用して通常のテキスト ファイルから入力を取得する豚のスクリプトがあります。Hive メタストアからデータを読み込んで保存したいので、Hcatalog の HcatLoader() と HcatStorage() を使用しました。ピッグで圧縮ハイブデータを保存およびロードする方法を教えてください。

HCatalog を使用する前にインストールが必要ですか? それとも単にjarファイルとして使用できますか?

VM で Cloudera を実行しており、HCatalog を MR ジョブ、Pig、Hive に問題なく使用できます。また、同じ MR コードが別の Hadoop がインストールされたプラットフォームでも機能すると考えていましたが、明らかにそうではなく、HCatInputFormat.setInput() で例外がスローされました。を使用するPig -useHCatalogと、使用方法が間違っている、つまり-useHCatalog、パラメーターとして何がわからないというメッセージが表示されました。

Cloudera で HCatalog を使用していたので、これまで考えたこともありませんでした...

HCatalog と HBase の相関関係を教えてください。

私はこれらの定義を見つけました：

Apache HCatalog HCatalog は、基礎となるファイル名や形式を使用せずにデータを参照するためのメタデータ抽象化レイヤーです。データが物理的に保存されている方法と場所から、ユーザーとスクリプトを隔離します。

Apache HBase HBase (Hadoop データベース) は、分散型の列指向データベースです。HBase は、基盤となるストレージに HDFS を使用します。MapReduce を使用したバッチ スタイルの計算とポイント クエリ (ランダム読み取り) の両方をサポートしています。

Hive で CREATE TABLE を使用すると、HCatalog にテーブルが作成されます。私はそれを理解していません。HBase である実際の DATABASE ではないのはなぜですか?

HCatalog は、すべてのデータ ストアの何らかのメタデータ リポジトリのようです。データベースとテーブルに関する情報も HBase に保持するということですか?

解説よろしくお願いします

よろしくパヴェル