1

私は自分のアプリケーションにhive+hadoopマップリデュースプログラムを実装したいのですが、ハイブでマップリデュースプログラムに関するクエリと情報を何度も試したので、まだ疑問に思っています。

私の質問は、ハイブには独自のマップリデュースプログラムがありますか?少し複雑なクエリを試してみると、ログは次のようになります。

Job running in-process (local Hadoop)
2011-05-26 14:10:02,004 null map = 100%,  reduce = 100%
Ended Job = job_local_0001

そのクエリにはマップリデュースプロセスがあり、ハイブに実装されているマップリデュースプログラムの一部をグーグルで検索しようとすると、マップリデュースプログラムを作成するための代替手段もあります。

私の意見では、ハイブを使用してデータマイニング(大規模なクエリ)を処理できます(正しいか間違っているかわかりませんか?訂正してください)特定のタスクのためにハイブに実装するマップリデュースプログラムを作成できます(それは本当ですか?)

これについて何か説明はありますか?

すべての説明と注意に感謝し、私の悪い英語をお詫びします..ありがとう..:D

4

1 に答える 1

2

いいえ、HadoopのMapReduceを使用します。ただし、MapReduceを使用して、クエリに必要なデータを集約します。したがって、特定のキーなどすべての値を検索した場合、Hiveは入力に対してMapReduceジョブを実行して、データを取得します。

基本的に、HIVEはmapreduceを使用し、SQLのような言語をMapReduceジョブに変換します。

于 2011-05-26T07:54:02.750 に答える