2

mapreduce ジョブをシェル アクションとして実行する単純なジョブ ワークフローがあります。ジョブを送信した後、そのステータスは Running になり、そこにとどまりますが、終了することはありません。mapreduce クラスターは、2 つのジョブが実行されていることを示しています。1 つはシェル アプリケーション ランチャーに属し、もう 1 つは実際の mapreduce ジョブに属しています。ただし、mapreduce ジョブのものは UNASSIGNED と表示され、進行状況はゼロです (つまり、まだ開始されていないことを意味します)。

興味深いことに、oozie ジョブを強制終了すると、mapreduce ジョブが実際に実行を開始し、正常に完了します。シェルランチャーがブロックしているようです。

ps 単純なワークフローであり、開始日や終了日で待機する可能性はありません。

4

2 に答える 2

0

ジョブが「UNASSIGNED」状態で動かなくなった場合、通常はリソース マネージャー (RM) がコンテナーをジョブに割り当てることができないことを意味します。ユーザーとキューの容量構成を確認してください。より多くの容量を与えると役立つはずです。

Hadoop 2.7 とキャパシティ スケジューラでは、具体的には次のプロパティを調べる必要があります。

yarn.scheduler.capacity.<queue-path>.capacity
yarn.scheduler.capacity.<queue-path>.user-limit-factor
yarn.scheduler.capacity.maximum-applications 
  / yarn.scheduler.capacity.<queue-path>.maximum-applications
yarn.scheduler.capacity.maximum-am-resource-percent 
  / yarn.scheduler.capacity.<queue-path>.maximum-am-resource-percent

これらのプロパティの詳細については、 Hadoop: Capacity Scheduler - Queue Propertiesを参照してください。

于 2015-06-01T08:17:26.717 に答える
0

メモリリソースに応じて、以下のケースを検討してください

コンテナーの数は、ブロックサイズの数に依存します。512 MB のブロック サイズの 2 GB のデータがある場合、Yarn は 4 つのマップと 1 つの reduce を作成します。mapreduce の実行中は、いくつかのルールに従って mapreduce ジョブを送信する必要があります (これは小規模なクラスターに適用されるはずです)。

RAM DISK および CORES に従って、以下のプロパティを構成する必要があります。

<property>
    <description>The minimum allocation for every container request at the RM,
    in MBs. Memory requests lower than this won't take effect,
    and the specified value will get allocated at minimum.</description>
    <name>yarn.scheduler.minimum-allocation-mb</name>
    <value>512</value>
  </property>

  <property>
    <description>The maximum allocation for every container request at the RM,
    in MBs. Memory requests higher than this won't take effect,
    and will get capped to this value.</description>
    <name>yarn.scheduler.maximum-allocation-mb</name>
    <value>2048</value>
  </property>


 <property>
  <name>yarn.nodemanager.resource.memory-mb</name>
  <value>2048</value>
 </property>

そして、メモリ リソースに従って Java ヒープ サイズを設定します。mapreduce に従って、yarn-site.xml の上記のプロパティで確認すると、効率的に成功します。

于 2015-06-01T09:36:37.423 に答える