問題タブ [microsoft-distributed-file-system]

分散ファイル システム (Microsoft) からファイルを取得しようとしています

この DFS にアクセスするには、DFS に接続するユーザー名とパスワードを入力する必要があります。

DFS からファイル REMGROUP.txt を取得するスクリプトを Python で記述しようとしています。私は一生、ftp サーバーへのログインを伴わない方法を見つけることができません。私が見つけたいくつかのモジュールには、

http://docs.pyfilesystem.org/en/latest/ftpfs.html#fs.ftpfs.FTPFS

https://docs.python.org/2/library/shutil.html

しかし、これらはいずれも、ユーザー名またはパスワードを使用する方法について言及していないか、メソッドを持っていません。

私の質問は、ファイルを取得するためにユーザー名とパスワードが必要な Windows DFS にアクセスする方法を Python で知っている人はいますか?

管理モードでhttps://github.com/hortonworks/simple-yarn-appでsimple-yarn-app を実行しようとしています。

• 次のようにjarをローカルからhdfsにコピーしました

  /li>

• のように実行しようとすると

  私FAILEDは状態として取得します。でログを探しました$HADOOP_HOME/logsが、関連するログが見つかりません。

• HDFS のどこかにログが存在しますか?

以下は私が得るエラーです：

`[[2~14/07/10 12:23:32 WARN util.NativeCodeLoader: お使いのプラットフォームのネイティブ Hadoop ライブラリをロードできません... 該当する場合は組み込み Java クラスを使用してください
14/07/10 12:23:32情報 client.RMProxy: /0.0.0.0:8032 で ResourceManager に接続してい
ます アプリケーション application_1405002979164_0004
14/07/10 12:23:32 情報 impl.YarnClientImpl: アプリケーション application_1405002979164_0004 を ResourceManager で
/0.0.0.0:8032 1405013016326 で失敗しました

次の診断レポートが表示されます。

----------------失敗の診断----------------
アプリケーション application_1405062676632_0002 は、appattempt_1405062676632_0002_000002 の AM コンテナが exitCode: - で終了したため、2 回失敗しました。 1000 原因: 。
この試みに失敗しました..
アプリケーションに失敗しました。

これをデバッグまたは修正するにはどうすればよいですか?

net use $drive_letter $target $password /user:domain\username を使用して、リモート マシンから分散ファイル システム (DFS) をマップしようとしています。

マシンにログインしてこれを行うとエラーは発生しませんが、これをリモートで試すと

システム エラー 1312 が発生しました。指定されたログオン セッションが存在しません。すでに終了している可能性があります。

以前にこの問題に直面した人はいますか?

または、これらの問題に遭遇せずにネットワーク ドライブをリモートでマップする別の方法はありますか?

新しいファイルシステム (F: - 宛先) を作成し、別のファイルシステム (E:\ - ソース) と同期しました。不思議なことに、私の新しい FS にはソース FS との差が 7GB ありました。

以下のファイルには、ソースに 8GB (サイズ) と 1GB (使用済み)、宛先に 8GB (サイズ) と 8GB (使用済み) があることがわかりました。

このファイルを安全に削除できるかどうかわかりません。違うと思う！

E:\System Volume Information\DFSR\SimilarityTable_1

質問: (1) このファイルは何ですか? (2) どうすれば修正できますか?

6 ノードの hdoop クラスターがあります。Iノードはマスターノードです。マスター ノードを含むすべてのノードは、TaskTracker と DataNode を実行しています。コマンド

マスター ノードで実行されている DataNode を含む 3 つのデータ ノードのみを返します。コンソールにエラーはありません。マスター ノードはこれらのノードに SSH で接続でき、DataNode は報告されていないノードで実行されています。報告されていないノードへの SSH ロギングを確認し、JPS コマンドを実行しました。すべてのスレーブ ノードには、次の出力があります。

ubuntu@slave2:¬/hadoop/logs$ jps

5007 タスクトラッカー

4868 データノード

5261円

dfsadmin コマンドで報告されていない DataNode を探す方法は?

以下に示すような双方向グラフがあるとします。

これで、ソース 8 からの DFS Traversal は 8 1 2 3 6 7 4 5 になります。再帰的な実装

したがって、最初は再帰的に 8->1->2->3 、 8->6 、 8->7->4->5 になります

さて、この機能を使用して、すべてのノードのソースからの距離も追跡したいと思います。これを dist[N] と呼びましょう。N はノード数です。このグラフでは、dist[8]=0、dist 1 =1、dist[2]=2 などです。どうすればこれを実装できますか?

最初に、変数 d を保持して、以下のコードに示すようにインクリメントしようとしました

しかし、明らかに、d の値は、再び 8 に達したときに 0 にリセットする必要があります。そうしないと、上記の関数に従って、dist[6] は 1+ dist[3] になります。これを克服する方法は？また、これを達成するためのより効率的な方法はありますか?