問題タブ [microsoft-distributed-file-system]

Windows 2012 R2 で DFS レプリケーションを使用しています。オプション「データ収集用のレプリケーション グループ」でグループを作成します。サーバー A「マスター」のフォルダー「X」は、サーバー B「スレーブ」のフォルダー「X」に複製されます。

サーバー B のマイ フォルダー "X" をサーバー A のフォルダー "X" にレプリケートする別のグループを作成したいと思います。 A から B へ B から A へ複製します。しかし、ファイル X は別のグループで使用されているため、拒否されます。

そのため、PowerShell スクリプトで変更するのが最善の方法だと思います。レプリケーション グループを取得し、サーバーのソースとサーバーの宛先を変更したいと考えています。

コマンドGet-DFSR...とを見つけましたSet-DFSR...が、それらをどのように使用するのかわかりません。

DFS ファイル共有に DNS フレンドリ名を設定しようとしています。

DFS 共有は次のようになります。

作成する DNS エントリは次のようになります。

これもできますか？もしそうなら、これを達成するのに役立つ良いリソースは何ですか?

私の Hadoop バージョンは 2.5.2 です。マスター ノードの hdfs-site.xml ファイルで dfs.blocksize を変更しています。次の質問があります。

1) この変更は HDFS の既存のデータに影響しますか 2) この変更を Hadoop クラスター内のすべてのノードに伝達する必要がありますか、それとも NameNode のみで十分ですか?

java eclipse hadoop map reduce プログラムで、入力ファイルが見つからないというエラーが表示されます。hadoopコマンドを使用して、ターミナル経由でファイルをhadoopディレクトリにコピーしました。Java Eclipse dfs の場所にファイルが表示されます。また、ターミナルでコマンド hadoop dfs -ls を使用します。通常のフォルダー（hdfsではない）を作成すると、問題は解決します。しかし、プログラムはローカルファイルシステムからファイルにアクセスしています。Java Eclipse Luna を使用して RedHat サーバー 32 ビットに Hadoop 1.2.1 をインストールしました。すでに Hadoop ライブラリから Hadoop プラグインと外部 jar ファイルを含めていました。入力パスと出力パスは、ランタイム引数によって指定されます

次のような HDFS にある Java プロパティ ファイルを読み取ろうとしています。

しかし、うまくいかないようで、「プロパティ ファイルが見つかりません」というメッセージが表示されます。例外。ローカル ファイルへのパスを置き換えると、正常に動作し、ファイルを読み取ることができます。

FileInputStream を使用して HDFS ファイルを読み取ることは可能ですか?

ありがとう！

DFS 環境内のすべてのフォルダーをループするスクリプトを作成しようとしています。フォルダー名が「Temp」の場合、そのフォルダー内の 5 日以上経過したすべてのファイルをスクリプトで削除します。

これは、これまでのところあまり運がなかったものです。