問題タブ [webhdfs]

Kerberos を使用して HDP2 Hadoop クラスターを保護しようとしています。

これまでのところ、Hdfs、Hive、Hbase、Hue Beeswax、および Hue ジョブ/タスク ブラウザは正常に動作しています。ただし、Hue のファイル ブラウザは機能していません。次のように応答します。

私のhue.iniファイルは、すべてsecurity_enabled=trueのパラメータとその他の関連するパラメータが設定された状態で構成されています。

http://hadoop.apache.org/docs/r1.0.4/webhdfs.html#Authenticationにあるcurlコマンドを試しました

答え:

また、次の curl リクエストでユーザーを追加することで、Hue のエラー メッセージを再現できました。

それは答えます：

WebHDFS と curl の間で Kerberos ネゴシエーションが行われていないようです。

私は次のようなものを期待していました:

何がうまくいかなかったのでしょうか？

私はhdfs-site.xmlすべてのノードに持っています：

Ubuntuでvirtualboxを使用して、3つのデータノードと1つのネームノードでマルチノードhadoopをセットアップしました。私のホスト システムは NameNode (データ ノードでもあります) として機能し、2 つの VM は DataNode として機能します。私のシステムは次のとおりです。

1. 192.168.1.5: NameNode (データノードも)
2. 192.168.1.10: データノード 2
3. 192.168.1.11: データノード 3

各システムからすべてのシステムを SSH 接続できます。私のすべてのシステムの hadoop/etc/hadoop/slaves には、次のエントリがあります。

hadoop/etc/hadoop/masterすべてのシステムで、次のエントリがあります。192.168.1.5

core-site.xml、yarn-site.xml、hdfs-site.xml、 、 、 、 mapred-site.xml、は、両方の DataNode で inのhadoop-env.shエントリがないことを除いて、マシン上で同じです。NameNode から実行すると、すべて正常に動作し、JPS を介して、すべてのマシンで必要なすべてのサービスを確認できます。dfs.namenode.name.dirhdfs-site.xmlstart-yarn.shstart-dfs.sh

namenode/dfshealth.html#tab-datanodeただし、と から確認したい場合 namenode:50070/dfshealth.html#tab-overview、両方とも 2 つのデータノードのみを示します。

tab-datanode は、NameNode と DataNode2 をアクティブなデータノードとして表示します。DataNode3 はまったく表示されません。

すべての構成ファイル (xml、sh、および slves/master に言及) を複数回チェックして、両方のデータノードに違いがないことを確認しました。

また、etc/hostsファイルには、すべてのシステムのすべてのノードのエントリも含まれています。

言及したいことの 1 つは、最初に 1 つの VM を構成してから、そのクローンを作成したことです。したがって、両方の VM の構成は同じです。そのため、1 つのデータノードが表示され、他のデータノードが表示されない理由がさらにわかりにくくなります。

2 つのクラスターがあり、1 つのクラスターから別のクラスターにデータをプルする必要があります。

私たちが利用できる唯一のオプションは、webhdfs を介してデータをプルすることです!!

しかし残念なことに、webhdfs を介して一度に取得できるファイルは 1 つだけであり、ファイルごとに 2 つのコマンドを実行する必要があります。

私の率直な質問は、webhdfs を介して、ディレクトリ データ全体をプルできる方法はありますか??

誰かがこれで私を助けてくれませんか...

注: DISTCP は、セキュリティ上の問題により、私たちにとって有効なオプションではありません!!

を使用して完全分散hadoopシステムをセットアップしましたubuntu。ホストシステムがあり、そこに 2 つの VirtualBox がインストールされています。マスター ノードから実行するstart-dfs.shと、 3 つのシステムすべてで開始されます。を使用してそれを見ることができます。しかし、Web UI を使用して確認しようとすると、アクティブなノードが 2 つしか表示されません。1つの VM にインストールされている 1 つがまったく表示されません。UI のバグやその他の問題はありますか?start-yarn.shdatanodejpsdatanode

5つのノードにpywebhdfsをインストールし、それぞれを検証しました

Python ヘルプ ('pywebhdfs')

パッケージ pywebhdfs に関するヘルプ:

名前 pywebhdfs

ファイル/../pywebhdfs/init.py _

「pywebhdfs.web hdfsという名前のモジュールがありません」を取得する

感謝して助けてください ありがとう

webhdfs を使用して、1 つまたは複数のファイルをあるパスから別のパスに移動したいと考えています。Hadoop 1.3 を使用しています。そのような REST 呼び出しは存在しますか

bivm:/home/biadmin/Desktop # curl -i " http://bivm.ibm.com:14000/webhdfs/v1/tmp/newfile?op=OPEN " HTTP/1.1 401 HttpFS サーバーへのアクセスが制限されています。まず、BigInsights コンソールから適切な資格情報を取得してください。コンテンツ タイプ: テキスト/html; charset=iso-8859-1 Cache-Control: must-revalidate,no-cache,no-store Content-Length: 1589 サーバー: Jetty(6.1.x)

WebHDFS REST APIHttpFS サーバー (デフォルトではポート 14000 で実行) を介した呼び出しを使用してクラスター内のファイルにアクセスしようとすると、上記のエラーが発生します。ご意見をお聞かせください。

httpfs または Webhdfs を介して HDFS から Spark にファイルを読み込みたいと考えています。の線に沿った何か

sc.textFile("webhdfs://myhost:14000/webhdfs/v1/path/to/file.txt")

または、理想的には、

sc.textFile("httpfs://myhost:14000/webhdfs/v1/path/to/file.txt")

Spark に Webhdfs/httpfs 経由でファイルを読み取らせる方法はありますか?

webhdfs はディレクトリ サイズをサポートしていないようです。HDFSでは、使用できます

これを webHDFS から派生させる方法はありますか? ページを表示するのではなく、プログラムでこれを行う必要があります。