問題タブ [mapr]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
java - 古い Hadoop API の reduce で現在の構成を取得する方法
新しい Hadoop API では、.config から構成を取得できますcontext。
しかし、今は古い API を使用しています。古い map/reduce の reduce で現在の構成を取得するにはどうすればよいですか?
scala - Spark フィルター条件 Scala を使用して別の RDD で RDD を反復する
いくつかのフィルター条件を追加して、小さな RDD で 1 つの BIG RDD を反復したいと考えています。以下のコードは正常に動作していますが、プロセスはドライバーでのみ実行され、ノード全体に分散されていません。他のアプローチを提案してください。
ありがとう、マドゥ
scala - java.io.InvalidClassException: scala.reflect.ClassTag$$anon$1; ローカル クラスに互換性がありません:: Spark
ファイル行のカウント中に例外が発生します: 実際には、ローカル モードでシェルを実行するとコードは正常に動作します: しかし、Yarn-client モードでシェルを試すと、以下の例外スタックが返されます。私は同じ問題について少し調査しました。別の JVM 互換性の問題であると示唆する人もいます。JDK6 を使用している他の環境では、ローカル モードと Yarn-Client モードの両方で完璧に動作しているため、これは本当かもしれません。別の環境では JDK7 を使用しています。yarn-client モードで実行中に問題に直面しています:
FYI JAVA - :環境で問題に直面しています
別の古い環境では: 正常に動作しています
ここから、コードを新しい環境に移動しました。互換性のないバージョンの問題であると思われる場合は、ローカル モードでも動作しないはずです。私の質問を明確にしてください：
hadoop - MapR スクリプト (Google Cloud SDK) を実行して GCP 上に MapR Hadoop クラスタを作成しても機能しない
https://github.com/mapr/gceからスクリプトをダウンロードして、MapR スクリプトを実行し、GCP 上に MapR Hadoop クラスターを作成しました。
私はすでに GCP で Google アカウントの認証を行っています。gcloud auth listわかった。
MapR スクリプトを実行します。
これは Cygwin コマンド ラインからのメッセージです。
チェック: -----
project-id stone-cathode-10xxxx
cluster MaprBank10
config-file 4node_yarn.lst
image centos-6 machine n1-standard-2
zone us-central1-bオプション: -----
node-name none
persistent-disks 1x256----- {y/N} に進みますか? y node1 を起動します
最初に永続データ ボリュームを作成します (1x256) seq: not found node2 を起動します
最初に永続データ ボリュームを作成します (1x256) seq: not found node3 を起動します
最初に永続データ ボリュームを作成します (1x256) seq: not found node4 を起動します
最初に永続データ ボリュームを作成しています (1x256) seq: not found
名前 ゾーン MACHINE_TYPE PREEMPTIBLE INTERNAL_IP EXTERNAL_IP ステータス
問題を調査して解決する方法。どうもありがとうございました。
hadoop - 2 つの異なるクラスター間の Hbase 移行にクラスター複製を使用できますか?
Hbase テーブルを古いクラスターから新しいクラスターにコピーする必要がある 2 つの異なるクラスター間で移行することを計画しています。古いクラスターから新しいクラスターに Hbase テーブルをコピーするために、データのバックアップに広く使用されているクラスター レプリケーション メカニズムを使用できますか?新しいクラスター。
前もって感謝します ！
hadoop - HBase で一括読み込み中にエラーが発生しました
HBase でバルクロードを実行しようとしていますが、データのロード中に以下の例外が発生します...
アプリケーション application_1439213972129_0080 の初期化に失敗しました (exitCode=255)、出力: 要求されたユーザー root はホワイトリストに登録されておらず、ID 0 を持っています。これは、許可されている最小値 500 を下回っています。この試行に失敗しています。アプリケーションの失敗。
hadoop - ハイブの作成に失敗しました: リソースが利用できないという例外
ハイブでテーブルを作成しようとしていますが、以下の例外が発生しています。
誰もそのような問題に直面しましたか? 詳細情報を提供するために、私は MapR クラスターを使用しており、MapR 管理 UI を見ていますが、すべて正常に見えます。
何か案が？
hadoop - ハイブ テーブルは存在しますが、ディレクトリが見つかりませんでした
私はMapR cluster最近10 nodesいくつかのリストラを受けています。基本的に、修正されたいくつかのノードで欠落しているディスクがいくつかありました。この後、ハイブ ディレクトリが に見つかりませんでしたHDFS path。ただし、Hive のテーブルとデータはそのままで、テーブルは hive から見ることができますCLI。
問題fsckなく実行された後、gfsck実行されました。
以下は、gfsck の出力です。
ハイブでは、テーブル、構造などしか見ることができませんでした。それ以外は起動できませんでしDDLた。たとえば、テーブルの通常のカウントでは、次のエラーが発生します。
'mapr'ハイブ テーブルですべての操作を実行するユーザーは 1 人だけです。
誰でもこれについて何か考えがありますか??
前もって感謝します。