問題タブ [hadoop-partitioning]

HIVE には、1 つの tstamp フィールドを含むさまざまなフィールド (a 文字列、b 文字列、tstamp 文字列、c 文字列) を持つ既存のテーブル構造があります。

既存のテーブル (original_table) から新しい分割テーブル (table_partitioned) を作成する必要がありますが、この新しいテーブル構造は「tstamp」フィールドの日付部分に基づいて分割する必要があります。

これを解決するために、既存のテーブル構造に似た新しいテーブル スキーマを作成し、次のクエリを使用して「date_string」というパーティション列を追加しました:-

次に、次の挿入クエリを使用して「table_partitioned」にデータを挿入しようとしました:-

しかし、上記の Insert ステートメントは、次のようにあらゆる種類のエラーに遭遇します:-

以下のように Insert ステートメントに where 句を挿入して一部のデータのみをロードすると、一致する行のパーティションが作成されます。

注:- 私は毎日約 2,00,000 のデータ エントリを持っています (例: 2013-07-23)。

すべてのデータを一度に挿入するにはどうすればよいですか?

Hadoop マルチノード セットアップ中に問題が発生します。マスターで hdfs デーモンを起動するとすぐに (bin/start-dfs.sh)

マスターで以下のログを取得しました

私はスレーブ@で以下のログを取得しました

hadoop-hduser-datanode-localhost.localdomain.log ファイル

セットアップの問題点を教えてください。

Hadoop から XML ファイルを処理しようとしていますが、XML ファイルの単語カウント ジョブの呼び出しで次のエラーが発生しました。

スレーブマシンの hadoop-hduser-tasktracker-localhost.localdomain.log ファイルで次のエラーを観察しました。

これは、テキストファイルを実行したときに正常に機能します

Hadoop マルチノード クラスタの実行中に、マスター ログに以下のエラー メッセージが表示されました。新しいユーザーを作成する必要がありますか、またはここで既存のマシンのユーザー名を指定できますか

2013-07-25 19:41:11,765 警告 org.apache.hadoop.security.UserGroupInformation: ユーザー webuser に使用できるグループがありません 2013-07-25 19:41:11,778 警告 org.apache.hadoop.security.ShellBasedUnixGroupsMapping: 例外が発生しましたユーザー webuser org.apache.hadoop.util.Shell$ExitCodeException: id: webuser: No such user のグループを取得しようとしています

hdfs-site.xml ファイル

core-site.xml

mapred-site.xml

私はhttp://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-multi-node-cluster/に従いました。

Hadoop 1.2.0 桟橋-6.1.26

hdfs-site.xml の外観を追加した後

キーが均等に分散されていない Hadoop の入力ログ ファイルを処理しています。これは、レデューサーの値の分布が不均一であることを意味します。たとえば、key1 には 1 つの値があり、key2 には 1000 の値があります。

同じキーに関連付けられた値の負荷分散を行う方法はありますか [自分のキーも変更したくない]

Hadoop マルチノード セットアップの使用 (1 マスター、1 スレーブ)

master で start-mapred.sh を起動した後、TT ログに以下のエラーが見つかりました (Slave an)

org.apache.hadoop.mapred.TaskTracker: システム ディレクトリの取得に失敗しました

このエラーを回避するために何ができるかを誰かが教えてくれますか

Hadoop 1.2.0 jetty-6.1.26 Java バージョン「1.6.0_23」を使用しています

mapred-site.xml ファイル

core-site.xml

私はM / Rプログラムに非常に慣れていません..私はHDFSにこの構造のデータを含むファイルを持っています

EmpId、EmpName、部門、給与、

1231,userName1,Dept1,5000
1232,userName2,Dept2,6000
1233,userName3,Dept3,7000
.
.
...................................

今、私は最高の給与を稼いでいる従業員の名前を見つけたい

私は最高の給与を見つけるためにmap reduceを書きました。私のマッパークラスでは、このような出力を出しました

output.collect("最大値",従業員の給与);

レデューサーで、キー「最大値」の最大値を見つけました。この値をマッパーで使用して、最大の給与を稼いでいる従業員の名前を見つけたいです。レデューサーの出力をマッパーに送信するにはどうすればよいですか入力として?これは私のタスクを達成するための良いアプローチですか?他の提案はありますか?

私は今パーティショナーの概念を学んでいます.誰かが私に以下のコードを説明してくれませんか.それは私が理解するのが難しいです.

この taggedKey.getJoinKey().hashCode() % numPartitions は、キーに対して実行するレデューサーをどのように決定しますか?

誰でもこれを説明できますか？