問題タブ [hadoop-partitioning]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
hadoop - Hive の既存のパーティション化されていないテーブルから動的パーティションを使用して新しいテーブルを作成する
HIVE には、1 つの tstamp フィールドを含むさまざまなフィールド (a 文字列、b 文字列、tstamp 文字列、c 文字列) を持つ既存のテーブル構造があります。
既存のテーブル (original_table) から新しい分割テーブル (table_partitioned) を作成する必要がありますが、この新しいテーブル構造は「tstamp」フィールドの日付部分に基づいて分割する必要があります。
これを解決するために、既存のテーブル構造に似た新しいテーブル スキーマを作成し、次のクエリを使用して「date_string」というパーティション列を追加しました:-
次に、次の挿入クエリを使用して「table_partitioned」にデータを挿入しようとしました:-
しかし、上記の Insert ステートメントは、次のようにあらゆる種類のエラーに遭遇します:-
以下のように Insert ステートメントに where 句を挿入して一部のデータのみをロードすると、一致する行のパーティションが作成されます。
注:- 私は毎日約 2,00,000 のデータ エントリを持っています (例: 2013-07-23)。
すべてのデータを一度に挿入するにはどうすればよいですか?
hadoop - Hadoop マルチノード クラスタで HDFS デーモンを起動する際のエラー
Hadoop マルチノード セットアップ中に問題が発生します。マスターで hdfs デーモンを起動するとすぐに (bin/start-dfs.sh)
マスターで以下のログを取得しました
私はスレーブ@で以下のログを取得しました
hadoop-hduser-datanode-localhost.localdomain.log ファイル
セットアップの問題点を教えてください。
hadoop - スレーブ マシンでの DiskErrorException - Hadoop マルチノード
Hadoop から XML ファイルを処理しようとしていますが、XML ファイルの単語カウント ジョブの呼び出しで次のエラーが発生しました。
スレーブマシンの hadoop-hduser-tasktracker-localhost.localdomain.log ファイルで次のエラーを観察しました。
これは、テキストファイルを実行したときに正常に機能します
hadoop - Hadoop webuser: そのようなユーザーはいません
Hadoop マルチノード クラスタの実行中に、マスター ログに以下のエラー メッセージが表示されました。新しいユーザーを作成する必要がありますか、またはここで既存のマシンのユーザー名を指定できますか
2013-07-25 19:41:11,765 警告 org.apache.hadoop.security.UserGroupInformation: ユーザー webuser に使用できるグループがありません 2013-07-25 19:41:11,778 警告 org.apache.hadoop.security.ShellBasedUnixGroupsMapping: 例外が発生しましたユーザー webuser org.apache.hadoop.util.Shell$ExitCodeException: id: webuser: No such user のグループを取得しようとしています
hdfs-site.xml ファイル
core-site.xml
mapred-site.xml
私はhttp://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-multi-node-cluster/に従いました。
Hadoop 1.2.0 桟橋-6.1.26
hdfs-site.xml の外観を追加した後
java - Hadoop mapreduce のキー間で値の不均等な分布を処理する
キーが均等に分散されていない Hadoop の入力ログ ファイルを処理しています。これは、レデューサーの値の分布が不均一であることを意味します。たとえば、key1 には 1 つの値があり、key2 には 1000 の値があります。
同じキーに関連付けられた値の負荷分散を行う方法はありますか [自分のキーも変更したくない]
hadoop - システム ディレクトリの取得に失敗しました - hadoop
Hadoop マルチノード セットアップの使用 (1 マスター、1 スレーブ)
master で start-mapred.sh を起動した後、TT ログに以下のエラーが見つかりました (Slave an)
org.apache.hadoop.mapred.TaskTracker: システム ディレクトリの取得に失敗しました
このエラーを回避するために何ができるかを誰かが教えてくれますか
Hadoop 1.2.0 jetty-6.1.26 Java バージョン「1.6.0_23」を使用しています
mapred-site.xml ファイル
core-site.xml
hadoop - hadoop map reduce を使用して最大給与の従業員名を取得する
私はM / Rプログラムに非常に慣れていません..私はHDFSにこの構造のデータを含むファイルを持っています
EmpId、EmpName、部門、給与、
1231,userName1,Dept1,5000
1232,userName2,Dept2,6000
1233,userName3,Dept3,7000
.
.
...................................
今、私は最高の給与を稼いでいる従業員の名前を見つけたい
私は最高の給与を見つけるためにmap reduceを書きました。私のマッパークラスでは、このような出力を出しました
output.collect("最大値",従業員の給与);
レデューサーで、キー「最大値」の最大値を見つけました。この値をマッパーで使用して、最大の給与を稼いでいる従業員の名前を見つけたいです。レデューサーの出力をマッパーに送信するにはどうすればよいですか入力として?これは私のタスクを達成するための良いアプローチですか?他の提案はありますか?
hadoop - Hadoop のカスタム パーティショナーを理解する
私は今パーティショナーの概念を学んでいます.誰かが私に以下のコードを説明してくれませんか.それは私が理解するのが難しいです.
この taggedKey.getJoinKey().hashCode() % numPartitions は、キーに対して実行するレデューサーをどのように決定しますか?
誰でもこれを説明できますか?