問題タブ [mapr]

mfs ( hadoop fs ベース) とdf、dfisk、およびnmonログ ファイルを使用してファイル システムから情報を取得するスクリプトを使用して maprをインストールしました。

ここで、mapr を hadoop fs として使用するデバイス/dev/sdb1から情報を取得したいと考えています。私は次のようなものを使用できることを知っています

でも、他に慣れる方法や合計サイズなどがあるといいのですが。

/dev/sdb1 をマウントできません。何らかのプロセスで使用されているためです。また、パーティションが既にマウントされている可能性のあるパスが見つかりません。

データを豚にロードし、同じデータをコンソールにダンプしようとしています。次のコマンドを使用して、Cloudera サンドボックスでエラーなしで実行しました。

sampledata ファイル内のすべてのデータをダンプします。

次のコマンドを使用して、MapR クラスターで同じことを試みます。

次のエラーが発生します。

助けてください。

前もって感謝します。

SQL-on-semi 構造化データを実行するという要件のドリルを調査し始めました。Zookeeper を使用して 4 ノードのドリル クラスタをセットアップしました。それが実際にどのように機能するかについていくつか質問がありますが、

1. dfs (ローカル ファイル システム) を使用して分散モードで Drill を実行すると、ノードの 1 つ (たとえば n1) に 1GB の Json ファイルがあります。任意のノード (n1、n2、n3、n4) から sqlline を起動してクエリを実行できます。n1 にのみ日付があります。私の質問は

   を。クエリはすべてのノードで実行されていますか? つまり、Drill はデータを他のノード n2、n3n4 に分散することによって、クエリの実行を並列化しますか?

   b. NO の場合、すべてのノード n2、n3、n4 に同じファイルをコピーすることで、Drill の MPP アーキテクチャを活用できますか?

Hadoop job.properties のコンテンツに基づいて動的ファイルを作成し、それを分散キャッシュに配置する必要があります。

ファイルを作成すると、「/tmp」のパスで作成されていることがわかります。

シンボリック名を作成し、キャッシュ内のこのファイルを参照します。さて、Dis. キャッシュにアクセスできません。java.io.FileNotFoundException: 要求されたファイル /tmp/myfile6425152127496245866.txt が存在しません。

ファイルの作成中にもパスを指定し、ファイルへのアクセス/読み取り中にそのパスを使用する必要があるかどうか教えてください。

ジョブが実行されるまでファイルを利用できるようにするだけです。

これは、公式にはまだサポートされていない maprfs と連携する spring-xd リリース 1.0.1 に関する質問です。それでも私はそれを機能させたいと思っています。

これが私たちがしたことです：

1) パラメータを受け入れるように xd-shell と xd-worker と xd-singlenode シェル スクリプトを調整しました。--hadoopDistro mapr

2) ライブラリを新しいディレクトリ $XD_HOME/lib/mapr に追加しました

3) と を実行bin/xd-singlenode --hadoopDistro maprしshell/bin/xd-shell --hadoopDistro maprます。

を介してストリームを作成およびデプロイするとstream create foo --definition "time | hdfs" --deploy、データは maprfs のファイル tmp/xd/foo/foo-1.txt.tmp に書き込まれます。ただし、ストリームをアンデプロイすると、次の例外が表示されます。

機能を見てみましたOutputStoreObjectSupport.renameFile()。hdfs 上のファイルが完成すると、このメソッドはファイル /xd/foo/foo-1.txt.tmp の名前を xd/foo/foo1.txt に変更しようとします。これは関連するコードです:

対象のファイルが hdfs 上に存在しない場合、maprfs を呼び出すと例外がスローされるようfs.delete(toPath, false)です。ただし、この場合に例外をスローしても意味がありません。他のファイルシステムの実装では動作が異なると思いますが、これはまだ確認する必要がある点です。残念ながら、MapRFileSystem.java のソースが見つかりません。これはクローズドソースですか？これは、問題をよりよく理解するのに役立ちます。spring-xd から maprfs に書き込んだ経験のある人はいますか? または、spring-data-hadoop を使用して maprfs のファイルの名前を変更しますか?

編集

簡単なテスト ケース (以下を参照) を使用して、Spring XD 以外で問題を再現することができました。この例外は、inWritingSuffix または inWritingPrefix が設定されている場合にのみスローされることに注意してください。そうしないと、spring-hadoop はファイルの名前を変更しようとしません。したがって、これはまだ私にとっては不十分な回避策です。inWritingPrefixes と inWritingSuffixes の使用を控えてください。