1

HDP クラスターのバージョンは 2.6.4 です。

Redhat マシンのバージョンにインストールされたクラスター – 7.2

JournalNodes マシン (マスター マシン) で次の問題が発生していることに気付きました。

3 台の JournalNodes マシンがあり、/tmp フォルダーの下に何千もの空のフォルダーがあります。

drwx------.  2 hive      hadoop     6 Dec 20 09:00 a962c02e-4ed8-48a0-b4bb-79c76133c3ca_resources

また、多くのフォルダ

drwxr-xr-x.  4 hive      hadoop  4096 Dec 12 09:02 hadoop-unjar6426565859280369566

次のような内容で

beeline-log4j.properties  BeeLine.properties  META-INF  org  sql-keywords.properties

/tmp は、構成ファイルに従って 10 日ごとにパージする必要があります。

more  /usr/lib/tmpfiles.d/tmp.conf
#  This file is part of systemd.
#
#  systemd is free software; you can redistribute it and/or modify it
#  under the terms of the GNU Lesser General Public License as published by
#  the Free Software Foundation; either version 2.1 of the License, or
#  (at your option) any later version.

# See tmpfiles.d(5) for details

# Clear tmp directories separately, to make them easier to override
v /tmp 1777 root root 10d
v /var/tmp 1777 root root 30d

# Exclude namespace mountpoints created with PrivateTmp=yes
x /tmp/systemd-private-%b-*
X /tmp/systemd-private-%b-*/tmp
x /var/tmp/systemd-private-%b-*
X /var/tmp/systemd-private-%b-*/tmp
You have new mail in /var/spool/mail/root

したがって、この問題を回避するために 、保持期間を10 日間ではなく1 日間に減らします。

実際、/tmp には 1 日のフォルダ コンテンツしかありません

しかし、私は次の質問をしたいです

Hadoop クラスタの /tmp についての保存期間を 1 日に設定してもよろしいですか?

(ほぼ大丈夫だと思いますが、もっと意見を聞きたいです)

2番

HIVE が何千もの空のフォルダーを XXXX_resources として生成する理由、

/tmpで保持を制限する代わりに、HIVEサービスから解決することは可能ですか

4

1 に答える 1