hadoop - なぜ Hadoop のパスワードレス ssh が必要なのですか?

Question

• 私の知る限り、マスターノードが各スレーブノードでデーモンプロセスを開始できるようにするには、パスワードなしのsshが必要です。それとは別に、Hadoop の操作にパスワードなしの ssh を使用することはありますか?

• ユーザー コード jar とデータ チャンクはスレーブ ノード間でどのように転送されますか? メカニズムと使用されるプロトコルを知りたいです。

• パスワードなしの SSH は、マスターとスレーブのペアまたはスレーブ間でのみ構成する必要がありますか?

Answer 1

あなたは正しいです。ssh がパスワードレスでない場合は、個々のマシンですべてのプロセスを手動で開始する必要があります。2 番目の質問では、HDFS でのすべての通信は TCP/IP を介して行われ、データの移動には HTTP が使用されます。メカニズムは次のようになります。

クライアントは、NameNode マシン上の構成可能な TCP ポートへの接続を確立します。ClientProtocol と NameNode をやり取りします。DataNode は、DataNode プロトコルを使用して NameNode と通信します。リモート プロシージャ コール (RPC) の抽象化は、クライアント プロトコルと DataNode プロトコルの両方をラップします。

3 番目の質問については、スレーブ ノード間でパスワードなしの ssh を使用する必要はありません。