hadoop - Samza は HA の ResourceManager と連携しますか?

Question

HA のリソース マネージャーで Samza を使用している人はいますか? もしそうなら、私は何に設定yarn.resourcemanager.hostnameしyarn-site.xmlますか？

最初の RM に設定すると、その RM からジョブをサブミットし、RM がアクティブな場合、ジョブのサブミットは正常に機能します。ジョブの送信元の RM マシンがアクティブでない場合、ポート 8032 で接続拒否エラーが発生します。

Answer 1

はい、HA モードの RM で samza を実行しています。基本的に、yarn-site.xml に以下で定義されているプロパティが確実に設定されていることを確認してください。これにより、最初の RM が成功しなかった場合に、ジョブの送信で他の RM への接続が試行されるようになります。

    <property>
      <name>yarn.resourcemanager.hostname</name>
      <value>yarn_resource_manager_hostname</value>
    </property>
    <property>
      <name>yarn.resourcemanager.ha.enabled</name>
      <value>true</value>
    </property>
    <property>
      <name>yarn.resourcemanager.cluster-id</name>
      <value>yarn_cluster_id</value>
    </property>
    <property>
      <name>yarn.resourcemanager.ha.rm-ids</name>
      <value>rm1,rm2</value>
    </property>
    <property>
      <name>yarn.resourcemanager.hostname.rm1</name>
      <value>yarn_resource_manager_hostname</value>
    </property>
    <property>
      <name>yarn.resourcemanager.hostname.rm2</name>
      <value>yarn_resource_manager2_hostname</value>
    </property>
    <property>
      <name>yarn.resourcemanager.address.rm1</name>
      <value>yarn_resource_manager_hostname:8032</value>
    </property>
    <property>
      <name>yarn.resourcemanager.address.rm2</name>
      <value>yarn_resource_manager2_hostname:8032</value>
    </property>