2

ハイブ クエリを実行しています。hive.execution.engine=tez を設定すると、クエリが engine=MR で動作しているときに次のエラーが発生しました。

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask

私のクエリは内部結合であり、データは非常に大きいです。

もう1つのことは、私が以前にこの問題に遭遇したことです。しかし、tez は後で動作するので、Hive に関する不安定な問題だと思いました。

4

3 に答える 3

1

ハイブ経由で HQL を実行する際に、次のパラメーターを含めます。これにより詳細なログが得られ、根本原因を簡単に特定できます。

-hiveconf hive.root.logger=DEBUG,console

私は同様の問題に直面し、上記のプロパティは私を大いに助けてくれました。

例: 次のメッセージが表示されました

16/04/14 10:29:26 ERROR exec.Task: Failed to execute tez graph.
org.apache.tez.dag.api.TezException: org.apache.hadoop.yarn.exceptions.InvalidResourceRequestException: Invalid resource request, requested memory < 0, or requested memory > max configured, requestedMemory=20480, maxMemory=11288

設定を に変更する11288と、クエリが正常に実行されました。

于 2016-04-14T17:51:36.023 に答える
0

次のプロパティでyarn-site.xmlを確認してください。

<property>
   <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
    <description>Whether virtual memory limits will be enforced for containers</description>
  </property>
 <property>
   <name>yarn.nodemanager.vmem-pmem-ratio</name>
    <value>4</value>
    <description>Ratio between virtual memory to physical memory when setting memory limits for containers</description>
  </property>
 <property>
    <name>yarn.scheduler.minimum-allocation-mb</name>
    <value>1024</value>
  </property>
  <property>
    <name>yarn.scheduler.maximum-allocation-mb</name>
    <value>2048</value>
  </property>
  <property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>2048</value>
  </property>
</configuration>
于 2015-12-28T12:25:08.370 に答える