1

3つのキューを設定しようとしました。そのために、以下に示すように CapacityScheduler.xml を構成しました。しかし、この後、ジョブトラッカーはシャットダウンしています。これらのキューの名前も mapred-site.xml に追加しました。理由は誰でも知っています。

enter code here

*<!-- queue: BatchJobs-Queue -->
<property>
  <name>mapred.capacity-scheduler.queue.BatchJobsQueue.capacity</name>
  <value>70</value>
</property>
<property>
  <name>mapred.capacity-scheduler.queue.BatchJobsQueue.supports-priority</name>
  <value>false</value>
</property>
<property>
  <name>mapred.capacity-scheduler.queue.BatchJobsQueue.minimum-user-limit-percent</name>
  <value>20</value>
</property>
<property>
  <name>mapred.capacity-scheduler.queue.BatchJobsQueue.user-limit-factor</name>
  <value>1</value>
</property>
<property>
  <name>mapred.capacity-scheduler.queue.BatchJobsQueue.maximum-initialized-active-tasks</name>
  <value>200000</value>
</property>
<property>
  <name>mapred.capacity-scheduler.queue.BatchJobsQueue.maximum-initialized-active-tasks-per-user</name>
  <value>100000</value>
</property>
<property>
  <name>mapred.capacity-scheduler.queue.BatchJobsQueue.init-accept-jobs-factor</name>
  <value>10</value>
</property>

    enter code here

<!-- queue: AdHocJobs-Queue -->
<property>
  <name>mapred.capacity-scheduler.queue.AdHocJobsQueue.capacity</name>
  <value>20<value>
</property>
<property>
  <name>mapred.capacity-scheduler.queue.AdHocJobsQueue.supports-priority</name>
  <value>false</value>
</property>
<property>
  <name>mapred.capacity-scheduler.queue.AdHocJobsQueue.minimum-user-limit-percent</name>
  <value>20</value>
</property>
<property>
  <name>mapred.capacity-scheduler.queue.AdHocJobsQueue.user-limit-factor</name>
  <value>1</value>
</property>
<property>
  <name>mapred.capacity-scheduler.queue.AdHocJobsQueue.maximum-initialized-active-tasks</name>
  <value>200000</value>
</property>
<property>
  <name>mapred.capacity-scheduler.queue.AdHocJobsQueue.maximum-initialized-active-tasks-per-user</name>
  <value>100000</value>
</property>
<property>
  <name>mapred.capacity-scheduler.queue.AdHocJobsQueue.init-accept-jobs-factor</name>
  <value>10</value>
</property>

    enter code here

<!-- queue: MyQueue  -->
<property>
  <name>mapred.capacity-scheduler.queue.MyQueue.capacity</name>
  <value>10<value>
</property>
<property>
  <name>mapred.capacity-scheduler.queue.MyQueue.supports-priority</name>
  <value>false</value>
</property>
<property>
  <name>mapred.capacity-scheduler.queue.MyQueue.minimum-user-limit-percent</name>
  <value>20</value>
</property>
<property>
  <name>mapred.capacity-scheduler.queue.MyQueue.user-limit-factor</name>
  <value>1</value>
</property>
<property>
  <name>mapred.capacity-scheduler.queue.MyQueue.maximum-initialized-active-tasks</name>
  <value>200000</value>
</property>
<property>
  <name>mapred.capacity-scheduler.queue.MyQueue.maximum-initialized-active-tasks-per-user</name>
  <value>100000</value>
</property>
<property>
  <name>mapred.capacity-scheduler.queue.MyQueue.init-accept-jobs-factor</name>
  <value>10</value>
</property>*

enter code here
4

1 に答える 1

0

ジョブ トラッカー ログの出力は何ですか?

Linuxを実行していると仮定して、これを実行してみてください：

ls -lrt /var/log/hadoop/mapred/ | grep jobtracker | tail -n1 | awk '{print $9}' | xargs -I{} tail -n40 /var/log/hadoop/mapred/{}
于 2014-04-16T22:31:52.033 に答える