問題タブ [alluxio]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
hadoop - HDFS あり/なしの Alluxio
アンダー ストレージ分散ファイル システムとして HDFS を使用したクラスターを使用していますが、高速で柔軟なalluxioについて読んだところです。だから、私の質問は次のとおりです: HDFS で Alluxio を使用する必要がありますか、それとも HDFS の代わりに Alluxio を使用する必要がありますか? (私は彼らのサイトで、ストレージファイルシステムの下の共有ストレージがネットワークファイルシステム (NFS) になる可能性があることを確認しました。したがって、HDFS は必要ないと思います。間違いがあれば訂正してください)。
どちらのモードのパフォーマンスが優れているか: HDFS with Alluxio または Alluxio stanalone (スタンドアロンという用語は、ローカルではなくクラスター内で単独で使用されることを意味します)。
presto - Presto を使用して Alluxio から読み取り中にチャネルが閉じられる
Alluxio 上で Presto クエリを実行しているときに、このスタック トレースに遭遇しました。クエリが成功することもありますが、このエラーで失敗することもあります。それはどういう意味ですか、どうすれば修正できますか?
apache-spark - DeadlineExceededException により、Spark ジョブが Alluxio への書き込みに失敗しました
20 ワーカー (Alluxio 1.6.1) を持つ Alluxio クラスターに書き込む Spark ジョブを実行しています。が原因で、Spark ジョブがその出力を書き込めませんでしたalluxio.exception.status.DeadlineExceededException。ワーカーは Alluxio WebUI からまだ生きています。どうすればこの失敗を回避できますか?
hive - Alluxio + EMR のハイブ
私は EMR 5.19.0 クラスターに Alluxio 1.8 をインストールしており、/usr/local/alluxio/bin/alluxio fs ls /.
ただし、ハイブを起動して発行すると
hive> [[DDL w/ LOCATION = alluxio://master_host:19998/my_table ]]]、次のようになります。
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:java.lang.RuntimeException: java.lang.ClassNotFoundException: Class alluxio.hadoop.FileSystem not found
これを乗り越える方法はありますか？hdfsのjarのコピーと--auxpath両方を指してハイブを開始しようとしましたが、成功しませんでした。/usr/local/alluxio/client/alluxio-1.8.1-client.jar
何か助けはありますか？