1

私のハイブクエリはこの例外をスローしています。

Hadoop job information for Stage-1: number of mappers: 6; number of reducers: 1
2013-05-22 12:08:32,634 Stage-1 map = 0%,  reduce = 0%
2013-05-22 12:09:19,984 Stage-1 map = 100%,  reduce = 100%
Ended Job = job_201305221200_0001 with errors
Error during job, obtaining debugging information...
Examining task ID: task_201305221200_0001_m_000007 (and more) from job job_201305221200_0001
Examining task ID: task_201305221200_0001_m_000003 (and more) from job job_201305221200_0001
Examining task ID: task_201305221200_0001_m_000001 (and more) from job job_201305221200_0001

Task with the most failures(4): 
-----
Task ID:
  task_201305221200_0001_m_000001

URL:
  http://ip-10-134-7-119.ap-southeast-1.compute.internal:9100/taskdetails.jsp?jobid=job_201305221200_0001&tipid=task_201305221200_0001_m_000001

Possible error:
  Out of memory due to hash maps used in map-side aggregation.

Solution:
  Currently hive.map.aggr.hash.percentmemory is set to 0.5. Try setting it to a lower value. i.e 'set hive.map.aggr.hash.percentmemory = 0.25;'
-----

Counters:
FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.MapRedTask


    select 
        uri, 
        count(*) as hits 
    from
        iislog
    where 
        substr(cs_cookie,instr(cs_Cookie,'cwc'),30) like '%CWC%'
    and uri like '%.aspx%' 
    and logdate = '2013-02-07' 
    group by uri 
    order by hits Desc;

8 Gb のデータで 1 つの大きなマスター インスタンスを使用して、8 つの EMR コア インスタンスでこれを試しました。最初に外部テーブルで試しました（データの場所はs3のパスです）。その後、S3 から EMR にデータをダウンロードし、ネイティブのハイブ テーブルを使用しました。しかし、両方で同じエラーが発生しました。

FYI, i am using regex serde to parse the iislogs.

'org.apache.hadoop.hive.contrib.serde2.RegexSerDe'
               WITH SERDEPROPERTIES (
               "input.regex" ="([0-9-]+) ([^ ]*) ([^ ]*) ([^ ]*) ([^ ]*) ([^ ]*) ([^ ]*) ([^ ]*) (\".*\"|[^ ]*) ([^ ]*) ([^ ]*) ([^ ]*) ([^ ]*) ([^ ]*) (\".*\"|[^ ]*) ([^ ]*) ([^ ]*) ([^ ]*) ([^ ]*) ([^ ]*) ([^ ]*) ([^ ]*) (\".*\"|[^ ]*) ([^ ]*) ([^ ]*) ([^ ]*) ([^ ]*) ([0-9-]+ [0-9:.]+) ([^ ]*) ([^ ]*) (\".*\"|[^ ]*) ([0-9-]+ [0-9:.]+)",
               "output.format.string"="%1$s %2$s %3$s %4$s %5$s %6$s %7$s %8$s %9$s %10$s %11$s %12$s %13$s %14$s %15$s %16$s %17$s %18$s %19$s %20$s %21$s %22$s %23$s %24$s %25$s %26$s %27$s %28$s %29$s %30$s %31$s %32$s")
location 's3://*******';
4

2 に答える 2

1
  • テーブルの場所は Hive にとって重要ではありません。

  • クエリを貼り付けることができれば、マッパーもソートしているかどうかを判断できるので、より良いでしょう。

    いずれにせよ、メモリの量を増やす必要があります。マップ タスクが実行するように構成されているメモリ量を確認します (mapred.child...)。少なくとも約 1G である必要があります。それが十分に大きい場合は、次のことができます。

    • マッパーがソートされていない場合: ログに示されているように、ハッシュ集計メモリ % をより高い数値にバンプすることを検討してください
    • マッパーがソートしている場合 - タスクメモリをより大きな数に増やしてください。
于 2013-05-24T13:45:35.403 に答える
1

set hive.map.aggr.hash.percentmemory = 0.25;メッセージの通りに設定してみましたか？詳細はこちら

于 2013-05-24T17:42:15.613 に答える