問題タブ [hcatalog]

私はHadoopにかなり慣れていません。

ログ ファイルを HCatalog にロードしようとしています。以下は私のログファイルのフォーマットです。

これを解析するにはSerDeを書く必要がありますか、それとも正規表現で実現できますか?

テーブル/列のメタデータを取得するために Hive Hcatalog API を使用しています。

コードサンプル:

インスタンスを使用すると、列、パーティション列などhCatTableを取得できます。これにより、のリストが返されますhCatTable.getCols()hCatTable.getPartCols()HCatFieldSchema

HCatFieldSchema問題は、インスタンスから列の長さ、スケール、精度を取得できないことです 。

Hive Hcatalog API を使用して上記の列メタデータを取得する方法はありますか?

使用されるハイブのバージョン: 1.1.0

前もって感謝します

Hive テーブルにロードする前に、フラット ファイルのデータをフォーマットする必要があります。

ファイルはパイプで区切られており、フラット ファイルのさまざまな列にさまざまなクリーニングおよび書式設定関数を適用する必要があります。Clean_Text、Format_Date、Format_TimeStamp、Format_Integer などの関数が複数あります。

私の考えは、スキーマをコンストラクターとして UDF に渡し、豚のフラット ファイルでさまざまな関数を呼び出すことです。

しかし、どうすればスキーマを渡すことができますか? DUMP A は実際にはテーブル全体をダンプしますが、メタデータのみが必要です。私の現在のUDF疑似コードは次のようになります

public class DataColumnFormatter extends EvalFunc {

}

PIG UDF でスキーマを取得するにはどうすればよいですか、またはこれを実現する別の方法はありますか。

前もって感謝します。

DataFrame次のコマンドを使用して、テーブルとして保存したい:

しかし、最後の行を試すと、次のようになりましたstacktrace。

ユーザーnanounanueには、そのディレクトリへの書き込み権限があります。

何が欠けている？

私はHadoopが初めてです。Linux で実行されているビルド済みの Hadoop 仮想マシンに基づいて、次のチュートリアルを実行しています。

Hadoop チュートリアル

ファイルに基づいて、デフォルトのデータベースに Hcatalog テーブルを作成しました。これらのデータベースとテーブルが Hadoop ファイルシステムで確認できるのか、それとも何らかの特別なストアにあるのかを知りたいです。

Windows 7 ホスト マシンで Hortonworks 2.2 サンドボックスを実行しています。仮想マシンに 2GB のメモリを割り当てました。テーブルを作成しようとするたびに、次のエラーが発生します。

テーブル作成時の HCatClient エラー: {"statement":"use default; create table kjdrg( abigint, bbigint,cbigint) コメント 'k' 行形式で区切られたフィールド ',';","error":"テーブルを作成できません: kjdrg","exec":{"stdout":"","stderr":"15/ 07/02 12:55:45 WARN conf.HiveConf: hive.optimize.mapjoin.mapreduce という名前の HiveConf は存在しません\n15/07/02 12:55:45 WARN conf.HiveConf: hive.heapsize という名前の HiveConf は存在しません存在\n15/07/02 12:55:45 WARN conf.HiveConf: hive.server2.enable.impersonation という名前の HiveConf が存在しません\n15/07/02 12:55:45 WARN conf.HiveConf: Hive という名前の HiveConf .auto.convert.sortmerge.join.noconditionaltask が存在しません\nSLF4J: クラス パスに複数の SLF4J バインディングが含まれています。\nSLF4J: [jar:file:/usr/hdp/2.2.0.0-2041/hadoop/lib/slf4j でバインディングが見つかりました-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class]\nSLF4J: [jar: でバインドが見つかりました:ファイル:/usr/hdp/2.2.0.0-2041/hive/lib/hive-jdbc-0.14.0.2.2.0.0-2041-standalone.jar!/org/slf4j/impl/StaticLoggerBinder.class]\nSLF4J: 参照説明については、 http://www.slf4j.org/codes.html#multiple_bindingsを参照してください。\nSLF4J: 実際のバインディングのタイプは [org.slf4j.impl.Log4jLoggerFactory]\n タイムアウト (60000ms) のため、コマンドが終了しました。Templeton.exec.timeout プロパティを参照してください","exitcode":143}} (エラー 500)

どうすればこれに対処できますか?

2015-07-08 19:56:34,875 [メイン] エラー org.apache.pig.tools.grunt.Grunt - エラー 1070: インポートを使用して HCatalogLoader を解決できませんでした: [、java.lang.、org.apache.pig.builtin ., org.apache.pig.impl.builtin.] ログファイルの詳細: /home/KS5023833/pig_1436364102374.log

それから私は試しました

これも機能していません。

1070: インポートを使用して org.apache.hive.hcatalog.pig.HCatLoader を解決できませんでした: [, java.lang., org.apache.pig.builtin., org.apache.pig.impl.builtin.]

何が問題ですか？私はHadoopの初心者です。

HCatalog を使用して、PIG を使用してテーブル データをハイブ データベースに格納しています。PIG grunt シェルでデータをロードしてダンプすることができましたが、ロードしたデータを、以下のコマンドを使用して myweather.weathertable1 (myweather-database name ,weathertable1 -table name1) として作成した HIVE テーブルに格納しようとすると、

次のエラーが発生します。

ログファイルには次のように書かれています：

上記の問題を解決するための助けは非常に価値があります。前もって感謝します。

sqoop のドキュメントから、Sqoop を使用して動的パーティションを使用してデータを Hive にインポートできると書かれていますが、その例は見つかりませんでした。試した人いる？

Sqoop HCatalog 機能は、次のテーブル タイプをサポートしています。

1. 分割されていないテーブル
2. 静的分割キーが指定された分割テーブル
3. データベース結果セットからの動的パーティション キーを持つパーティション分割されたテーブル
4. 静的キーと追加の動的パーティション キーの組み合わせによるパーティション分割されたテーブル

オプション＃3を探しています。

前もって感謝します。

Hive が HCatalog を使用してメタストアにアクセスするかどうかについて、ウェブ上で矛盾する投稿を見たことがあります。

Hive は実際の HCatalog API を使用してメタストアにアクセスしますか? それとも、メタデータを取得する独自のメカニズムがあり、メタデータにアクセスするために Hive 以外のツールによってのみ HCatalog が使用されますか?