問題タブ [mapr]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
ruby - Ruby を使用して MapR HDFS にファイルを保存する方法
Ruby から Hadoop の MapR ディストリビューションを使用して HDFS にファイルを保存する方法はありますか?
どうやら、クライアントから HDFS との通信を可能にする Thrift API が呼び出されthriftfs
ているようですが、MapR にはバンドルされていないようです。
hadoop - ec2、できればmaprでhadoopを使い始める最も簡単な方法は何ですか
ec2で動作する小さなmaprhadoopインスタンスを取得して、それを試して、それについてさらに学び始めることができるようにしたいと思います。
どのように進めますか?
マッパーサイト(1)は、vmplayer(2)で始まることに言及しています。
それで、ec2 AMIにvmplayerをインストールしてmaprをインストールするよりも、vmplayerがすでにインストールされているかvmplayer + maprがすでにインストールされているAMIを利用できますか?
(1)http://mapr.com/download (2)https://my.vmware.com/web/vmware/downloads
hadoop - AmazonEMRにS3を入力と出力に使用させる
Amazon EMR(0.20.205 MapR)で入力と出力にS3バケットを使用するにはどうすればよいですか?
コア構成xmlファイルに(ブートストラップアクションを介して)以下を追加しようとしました:
しかし、私はいつも次のようなものを手に入れます:
原因:java.io.IOException:パスを解決できませんでした:com.mapr.fs.MapRFileSystem.delete(MapRFileSystem)のcom.mapr.fs.MapRFileSystem.lookupClient(MapRFileSystem.java:219)のs3n:// some_out_bucket / out .java:385)at cc.mrlda.ParseCorpus.run(ParseCorpus.java:192)at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)at cc.mrlda.ParseCorpus.main(ParseCorpus。 java:675)...10以上
ここにHadoop初心者。助けてください!
hbase - pigエラーでのhbaseテーブルとの結合:スキームのファイルシステムがありません:hbase
hdfsファイルからの情報を使用してhbaseテーブルを結合しようとしています。私はhbaseとpigに比較的慣れていません。
ログファイルの内容は次のとおりです。
何か案は?
Pigバージョン0.10.0HBase0.92.1 Hadoop 0.20.2-dev
java - pig ファイルで .jar を使用する方法
2 つの入力ファイル smt.txt と smo.txt があります。jar ファイルは、テキスト ファイルを読み取り、java ファイルに記述されている規則に従ってデータを分割します。そして、pig ファイルは、これらのデータを mapreduce を実行して出力ファイルに取り込みます。
そして、次のようなJavaコードの一部。(メソッドの内容は必ずしも必要ではないと思います):
コマンド「pig -x mapreduce sample.pig」を使用して、ターミナルでこの豚のプログラムを実行すると、次のエラー メッセージが表示されました。
エラー org.apache.pig.tools.grunt.Grunt - エラー 1070: インポートを使用して com.mapr.util.FixedLoader を解決できませんでした: [, org.apache.pig.builtin., org.apache.pig.impl.builtin. ]
これらをプロジェクトにインポートするにはどうすればよいですか、またはこのプログラムを実行するための提案/解決策はありますか?
emr - S3 から Amazon EMR の maprfs へのファイルのコピー
EMR で実行されている MapR で Amazon の S3Distcp ツールを使用する際に問題があるかどうか知っている人はいますか? 使用しようとしていますが、/mnt/var/log/hadoop/steps で次の例外が引き続き発生します。
ジョブ ステップを送信するために使用しているコマンド ラインは次のとおりです。
--dest 引数については、maprfs:///PVData/raw と hdfs:///PVData/raw も試しましたが、どちらも機能しません。
r - MapRディストリビューションに関するrhive.connect()の問題
RHiveをロードして初期化した後(rhive.init()を使用)、rhive.connect()で次のエラーが発生します。
ハイブサーバーのIPアドレスを使用してrhive.connect( "10.2.138.168")を実行すると、同じエラーが発生します。私の環境変数は次のように設定されています:
rhive.env()を実行すると、次の警告/エラーが発生します。
編集:
次に、次のように設定します。
現在、rhive.connect()は次のエラーを返します。
私がどこで間違っているのかについて何か考えはありますか?ありがとう!
amazon-ec2 - Ubuntu 12.0.4 での MapR - EC2 でのディスクのセットアップ
MapR をインストールするためのディスクをセットアップする手順については、リンクを参照してください。
ディスクまたはパーティションが MapR で使用できる状態かどうかを判断するには:
コマンド sudo lsof を実行して、プロセスがすでにディスクまたはパーティションを使用しているかどうかを確認します。
sudo fuser を実行しても出力はありません。これは、特定のディスクまたはパーティションにアクセスしている > プロセスがないことを示しています。
mount ? コマンドの出力を介してチェックされるように、ディスクまたはパーティションはマウントされるべきではありません。
ディスクまたはパーティションには、/etc/fstab ファイルにエントリが含まれていてはなりません。
ディスクまたはパーティションは、mkfs などの標準の Linux ツールからアクセスできる必要があります。sudo mkfs.ext3 のようなコマンドを使用して、パーティションを正常にフォーマットできるはずです。これは、インストール中に MapR が実行する操作と似ています。mkfs がパーティションへのアクセスとフォーマットに失敗した場合、MapR で同じ問題が発生する可能性が高くなります。
Amazon EC2 インスタンスでこれを達成する際に問題があります。私が試した手順
- 大規模な EC2 インスタンスを作成しました。
- そのインスタンスに関連付けられたそのボリュームのスナップショットを作成しました
- 上記で作成したスナップショットから 500 GB の新しいボリュームを作成しました
この新しいボリュームをアンマウントして MapR で利用できるようにする方法がわかりません。この新しいボリュームの /etc/fstab にもエントリがあります。
上記の MapR の基準を満たすディスクまたはパーティションを作成するための段階的なアプローチを教えてくれる人はいますか?
hadoop - ClouderaやHortonworksと比較したHadoopディストリビューションMapRの欠点は何ですか?
ClouderaとHortonworksは、ApacheHadoopの基本概念の1つであるHDFSを使用します。MapRは独自のコンセプト/実装を使用しています。HDFSの代わりに、ネイティブファイルシステムを直接使用します。MapRのWebサイトで、このアプローチを使用して多くの利点を見つけることができます。
このアプローチの欠点は何ですか?