hadoop - コマンド ライン オプションを使用して Hadoop タスクの再試行ポリシーを制御するにはどうすればよいですか?

Question

コマンド ライン オプションを使用して、Hadoop ジョブの再試行ポリシーを制御したいと考えています。たとえば、次の Sqoop ジョブを作成して、MySQL の停止に対する耐障害性を持たせたいと考えています。

sqoop
  GENERIC_SQOOP_OPTIONS
  -Dmap.retry.exponentialBackOff=TRUE
  -Dmap.retry.numRetries=10

一般的な Hadoop ジョブの場合、次のようになります。

hadoop job -submit
  GENERIC_JOB_OPTIONS
  -Dmap.retry.exponentialBackOff=TRUE
  -Dmap.retry.numRetries=10

Answer 1

はい、Sqoop では Hadoop の「-D」引数がサポートされています。ただし、コマンド ラインでの位置は非常に重要です。これらは、「sqoop」の直後で、他の Sqoop 引数の前に存在する必要があります。

sqoop -Dmap.retry.exponentialBackOff=TRUE -Dmap.retry.numRetries=10 import --connect ...

配置が異なると期待どおりに動作しないことに注意してください。