問題タブ [mapr]

Hadoop-Vertica Connector を使用して大きなファイルを Vertica にインポートしています。リデューサーなしでそれを行うためにhadoopを使用しようとしていました。ただし、マッピング手順中に vertica 出力テーブルを初期化できないようで、常にエラーが発生します。

ドキュメントを確認したところ、Mapping 中に Vertica に書き込めるとは書かれていませんでした。

ありがとうございました！

編集

これはHadoop Vertica Connectorのドキュメントです。

エラー：

VerticaWordCount.java のソース コードを確認すると、出力テーブルの名前リストがまったく初期化されていないことがわかりました。

run() での私の構成は次のとおりです。

このコマンドを実行すると:

次のエラーが表示されます。

追加の詳細/デバッグ ログを有効にする方法を提案できる人はいますか?

上記のエラーは、MAPR Hadoop クラスから発生しているようです。org.apache.* と同様に、これらのパッケージでより詳細なログを有効にするとよいでしょう。

/opt/mapr/conf/logging.properties を変更してみましたが、うまくいきませんでした。

ところで、Hadoop 1.0.3 と MapR 3.1.1.26113.GA を実行しています

ありがとう、

フィ

ps これはhttp://answers.mapr.com/questions/11374/write-to-maprfs-with-hadoop-cli-fails-inside-docker-while-running-on-a-data-での私の質問に関連しています。ノード＃

Windowsクライアントmapreduceを使用してEclipseからプログラムを実行しようとすると、エラーが発生します..MAPR

この の何が問題なのか教えてください。注：ウィンドウのコマンドプロンプトからMAPR fsにアクセスできます：

以下のようなエラーログ：

MapReduce ジョブにログインするための最良の方法を見つけようとしています。他の Java アプリケーションと同様に、log4j アペンダーで slf4j を使用していますが、MapReduce ジョブはクラスター全体に分散して実行されるため、アクセスが制限された共有クラスターであるため、ログ ファイルの場所をどこに設定すればよいかわかりません。特権。

ジョブの完了後にクラスター全体のログを簡単に確認できるように、MapReduce ジョブにログインするための標準的な方法はありますか?

spark から hdfs シンボリック リンクの複数のパーツ ファイルを読み込もうとしています。パスが物理的な場合、パスから複数のファイルを読み取るためにワイルドカード(*)を使用できます。 sparkContext.textFile(/some/path/file_123321_00/part-r-000*)

しかし、「フルセット」と呼ばれるhdfs上のこのフォルダーへのシンボリックリンクを作成しました。
/some/path/ fullset /part-r-000* を使用すると、パスの検出に失敗します。hadoop fs -ls私は両方のパスを試しました。最初のものは機能しますが、シンボリックリンクのあるものは期待どおりに機能しません。
そのようなシンボリックリンクを作成できる MapR ディストリビューションを使用していますが、Spark からそれを読み取る最良の方法が何であるかはわかりません。シンボリック リンクを作成する理由は、最新のデータ セットを参照するためです。どんな提案でも大歓迎です。ありがとう

Mapr Sandbox で遊んでいますが、Mapr Warden アプリケーションの役割がわかりません。Mapr の Web サイトには構成ファイルへの参照が含まれていますが、プログラム自体の説明はありません。