1

レデューサーフェーズが開始するのを何年も待っていましたが、開始しません。namenode をフォーマットしようとしましたが、それでも同じ問題です。レデューサーを実行する必要がある場所ならどこでも、この問題に直面します。この点で誰でも私を助けることができますか？

hive> LOAD DATA LOCAL INPATH '/home/training/Desktop/student_performs_CSV.csv' OVERWRITE INTO TABLE stud_marks;
Copying data from file:/home/training/Desktop/student_performs_CSV.csv
Copying file: file:/home/training/Desktop/student_performs_CSV.csv
Loading data to table default.stud_marks
Deleted hdfs://localhost:9000/user/hive/warehouse/stud_marks
OK
Time taken: 1.633 seconds
hive> select count(*) from stud_marks;
Total MapReduce jobs = 1
Launching Job 1 out of 1
Number of reduce tasks determined at compile time: 1
In order to change the average load for a reducer (in bytes):
  set hive.exec.reducers.bytes.per.reducer=<number>
In order to limit the maximum number of reducers:
  set hive.exec.reducers.max=<number>
In order to set a constant number of reducers:
  set mapred.reduce.tasks=<number>
Starting Job = job_201211141618_0002, Tracking URL = http://localhost:50030/jobdetails.jsp?jobid=job_201211141618_0002
Kill Command = /home/training/Installations/hadoop-1.0.3/libexec/../bin/hadoop job  -Dmapred.job.tracker=localhost:9001 -kill job_201211141618_0002
Hadoop job information for Stage-1: number of mappers: 1; number of reducers: 1
2012-11-14 16:48:29,822 Stage-1 map = 0%,  reduce = 0%
2012-11-14 16:48:42,270 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 2.39 sec
2012-11-14 16:48:43,349 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 2.39 sec
2012-11-14 16:48:44,429 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 2.39 sec
2012-11-14 16:48:45,507 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 2.39 sec
2012-11-14 16:48:46,580 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 2.39 sec

..
.
.
.
.
.
.
2012-11-14 16:56:44,394 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 54.9 sec
2012-11-14 16:56:45,417 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 54.9 sec
2012-11-14 16:56:46,449 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 54.9 sec
4

2 に答える 2

0

ローカル マシンから HIVE テーブルにデータをロードしようとしているだけです。HIVE では、この操作は削減フェーズを開始せず、データの読み込みはマップ フェーズで行われ、削減フェーズで実行される操作はありません。

いくつかの削減タスクを探すには、「group by」などの操作で他の HIVE クエリを試してください。

于 2014-08-16T22:38:20.277 に答える