問題タブ [mapr]

メタ データが MAPR (ファイル メタ データ) でどのように配布されているかを説明する特定のリンクが見つかりません。cloudera / hortonworks /apache hadoop を見ると、メタデータが namenode のメモリに保存され、ブロックを保持するノードを見つけるためにフェッチされることがわかります。MAPR でどのように機能するのかを理解しようとしています。

どんな助けでも大歓迎です。

MapR で oozie を使用して sqoop ジョブを送信すると、このエラーが繰り返し発生します。詳細は以下。mysql jar ファイルを share/lib/sqoop ディレクトリにコピーしましたが、結果はありませんでした。助けていただけますか？

指示：

エラー

MaprFS:

ジョブのプロパティ:

ワークフロー.xml:

リンクを使用してwindow 7 64bitにmapr-clientをインストールしようとしています

• 以下のコマンドを実行中にエラーが発生し、セットアップをダウンロードして抽出した後、java と mapr パスの両方を設定します。

server\configure.bat -N my.cluster.com -c -C node01:7222.

以下のように変更しました。

• 以下は私が得ているエラーです

'c:\opt\mapr' は、内部コマンドまたは外部コマンド、操作可能なプログラムまたはバッチ ファイルとして認識されません。

マッパーの数は 24 ですが、実際に実行されているマッパーは 10 であり、残りの 14 のマップは保留状態にあります。それらを実行モードにする方法。MAPR 6 ノード クラスターを実行しています。mapred-site.xml と Yarn-site.xml の以下のプロパティを変更しました。これらの値はデフォルト値から上書きされますが、それでもパフォーマンス ベンチマークは表示されません。

ノート 。私はMRv1のパフォーマンスに関して同じプログラムを実行しています。クラスタ利用リソースをうまく活用する方法を教えてください。

使用するコマンド: yarn jar /opt/cluster/bin/logmessage-1.0-SNAPSHOT.jar com.message.WordPreprocessDriver -Dmapreduce.input.fileinputformat.split.maxsize=33554432 /data/123.txt

ヤーンサイトで

mapred サイト内

mapreduce.job.maps

実際には、合計コンテナーが 11 として実行されていることがわかります。40 個の vcore が使用可能で、そのうち 11 個の vcore が MR プログラムの実行中に使用されました。そのために変更が必要なプロパティを教えてください。

ありがとう、マドゥ

MapR DB にテーブルを作成し、hbase シェルを使用していくつかの生データをそこにロードしました。このデータは MapR ファイル システムのどこにありますか? ハイブ データがウェアハウス ディレクトリに格納されるように、MapR DB はどのように機能しますか?

または、MapR DB データの保存の背後にある別の概念はありますか?

MapR テーブルに一度に 1 つずつ一括読み込みを行うマップ削減ジョブがあります。別の Mapr DB テーブルをロードする必要がある場合は、バルク ロードを実行する別のジョブを作成する必要があります。単一のマップ削減ジョブでバルク ロードを実行する方法はありますか?

前もって感謝します。

MapR DB の MapR REST API が正しく動作していないようです。フィルターとして列ファミリーのリストコマンドを試しただけですが、適切な出力が得られませんが、maprcli オプションで完全に機能しています。私が行った操作のリストは次のとおりです。

maprcli コマンドで

maprcli テーブル cf リスト -パス /user/hbase/testShashi

readperm appendperm インメモリ バージョンperm cfname writeperm 圧縮perm メモリperm 圧縮 ttl maxversions minversions u:mapr u:mapr false u:mapr f1 u:mapr u:mapr u:mapr off 2147483647 1 0 u:mapr u:mapr false u:mapr f2 u:mapr u:mapr u:mapr オフ 2147483647 1 0

maprcli テーブル cf リスト -path /user/hbase/testShashi -cfname f1

readperm appendperm インメモリ バージョンperm cfname writeperm 圧縮perm メモリperm 圧縮 ttl maxversions minversions u:mapr u:mapr false u:mapr f1 u:mapr u:mapr u:mapr off 2147483647 1 0

cfname を f1 として渡したときに maprcli オプションを使用すると、単一のレコードしか得られませんが、REST API では発生しないようです

REST API あり フィルタ適用前

curl -k -u mapr:mapr https://ホスト名:8443/rest/table/cf/list?path=/user/hbase/testShashi

オプションとして cfname を使用

curl -k -u mapr:mapr https://hostname:8443/rest/table/cf/list?path=/user/hbase/testShashi&cfname=f1

ここで間違いを犯している場合はお知らせください。

Hadoop MapReduce に関する基本的な質問がいくつかあります。

1. 100 のマッパーが実行され、リデューサーがゼロであると仮定します。100 個のファイルが生成されますか? すべての個人がソートされていますか？すべてのマッパー出力がソートされていますか?
2. レデューサーの入力は Key -> Values です。キーごとに、すべての値がソートされますか?
3. 50 個のレデューサーが実行されたとします。50 個のファイルが生成されますか? 個々のファイルはすべてソートされていますか? すべてのレデューサー出力がソートされていますか?

MapReduce で保証された並べ替えが行われる場所はありますか?