問題タブ [alluxio]

Alluxio と Spark で奇妙なエラーが発生しました。Alluxio の Spark で 20.000 個のファイルを読み込んだところ、動作しました。しかし、Alluxio の Spark で 40.000 ファイルを読みましたが、うまくいきません。Alluxio 1.2、Spark 1.6.0 を使用し、ファイル API でデータを読み取ります。FileSystem fs = FileSystem.Factory.get(); AlluxioURI path = new AlluxioURI(/partition0); ...

alluxio.security.authentication.type私はローカルで Alluxio を実行しており、Alluxio のマスター アドレスは正しいので問題ありません。20.000 ファイルでは機能するのに、40.000 ファイルでは機能しない理由がわかりません。

私も変更alluxio.network.thrift.frame.size.bytes.maxしましたが、結果はありません..

ローカル マシンで alluxio をセットアップしようとしています。alluxio のドキュメントに従いました

http://www.alluxio.org/docs/master/en/Running-Alluxio-Locally.html

サービスを表示できますが、localhost:19999 のチェック中にエラーが発生します

私は Apache Ignite を初めて使用します。Ignite と Spark の統合のために、Ignite はデータが Spark アプリケーション全体に存在するインメモリ レイヤーを提供しているように見えます。これは、Tachyon がインメモリ ファイル システムとして提供する機能です。それで、私の質問はメモリ内ファイル システム (ignite の IGFS) についてです。Ignite と Tachyon の違いは何ですか? 両者の長所と短所は何ですか?

ありがとう！

以下を使用して、cloudera が提供するサンプル jar を使用して alluxio で wordcount を実行できます。

そして成功です。

しかし、添付コードで作成した jar を使用すると実行できません。これもサンプルの wordcount サンプル コードです。

上記のコードは、maven Pom.xml ファイルを使用してビルドされています。

alluxio クラスターで wordcount プログラムを実行するのを手伝ってくれませんか。同じものを実行するためにpomファイルに追加の構成が追加されないことを願っています。

jar を実行した後、次のエラーが発生します。

java.lang.IllegalArgumentException: 間違った FS: alluxio://10.30.60.45:19998/outabdf、予期される: hdfs://10.30.60.45:8020 at org.apache.hadoop.fs.FileSystem.checkPath(FileSystem.java:657) ) org.apache.hadoop.hdfs.DistributedFileSystem.getPathName(DistributedFileSystem.java:194) で org.apache.hadoop.hdfs.DistributedFileSystem.access$000(DistributedFileSystem.java:106) で org.apache.hadoop.hdfs.DistributedFileSystem $19.doCall(DistributedFileSystem.java:1215) at org.apache.hadoop.hdfs.DistributedFileSystem$19.doCall(DistributedFileSystem.java:1211) at org.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java:81) org.apache.hadoop.hdfs.DistributedFileSystem.getFileStatus(DistributedFileSystem.java:1211) at org.apache.hadoop.fs.FileSystem.exists(FileSystem.java:1412) at edu.WordCount.run(WordCount.java:47) で org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70) で edu.WordCount.main(WordCount.java:23) で sun.reflect.NativeMethodAccessorImpl.invoke0 (ネイティブ メソッド) (sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) で) sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) で java.lang.reflect.Method.invoke(Method.java:601) で) org.apache.hadoop.util.RunJar.run(RunJar.java:221) で org.apache.hadoop.util.RunJar.main(RunJar.java:136) でorg.apache.hadoop.util.RunJar で java.lang.reflect.Method.invoke(Method.java:601) で sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) で (NativeMethodAccessorImpl.java:57) を呼び出す.run(RunJar.java:221) at org.apache.hadoop.util.RunJar.main(RunJar.java:136)org.apache.hadoop.util.RunJar で java.lang.reflect.Method.invoke(Method.java:601) で sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) で (NativeMethodAccessorImpl.java:57) を呼び出す.run(RunJar.java:221) at org.apache.hadoop.util.RunJar.main(RunJar.java:136)

HBASE から alluxio メモリ ファイル システムに読み込まれた RDD をシリアル化し、定期的にキャッシュして更新し、インクリメンタル SPARK 計算で使用する必要があります。

コードはこのようなものですが、タイトル付きの例外が発生します

ImmutableBytesWritable を別の型にマップしてこの問題を回避する方法を教えてくれる人はいますか? また、後で objectFile を使用してこの保存されたオブジェクトを読み戻し、[(ImmutableBytesWritable, Result)] RDD に変換して後で更新と計算に使用する必要があるため、マップは元に戻すことができる必要があります。

私は alluxio (1.4 バージョン) に 6 ノード クラスターを使用していますが、クラスター全体にファイルを分散しません。1 つのワーカーは 98% のみを使用し、他のワーカーは 50% ～ 55% のマスター ノードを使用し、18% のみを使用しています。 m すべてのノードの alluxio-site.properties ファイルで「alluxio.user.file.write.location.policy.class=alluxio.client.file.policy.MostAvailableFirstPolicy」を使用します。