0

私が取り組んでいるクラスターでは、すべてのユーザーに 60 GB の Hadoop クォータが与えられています。歴史的に、私が取り組んでいるプロジェクトでは、多くの Hive クエリが生成されます。作業を高速化するために、これらのクエリ (これらは無関係です) を並列化しようとしていますが、その結果、ディレクトリ /user/{myusername}/.staging/ が job_{someid} ディレクトリでいっぱいになり、それらが順番にいっぱいになりますハイブ jar を使用して、これらの 60GB を非常に高速に消費します。並列化係数を制限することはできますが、Hive にこれらの jar を別のディレクトリに配置するように依頼できるかどうかも確認したいと思います。より多くのスペースがある /tmp/{myusername} と言ってください。

/tmp/{myusername} の下に .staging ディレクトリを作成するように Hive/Beeline に指示するにはどうすればよいですか?

4

2 に答える 2

0

上記は機能しません。

次の作業が見つかりました

beeline --hiveconf hive.exec.stagingdir=/tmp/{myusername}

于 2018-04-16T13:39:09.287 に答える