hadoop - Mahout ハイブの統合

Question

Hadoop ベースの Mahout レコメンダーを Apache Hive と組み合わせたいと考えています。生成されたレコメンデーションが Hive テーブルに直接保存されるようにします。これに関する同様のチュートリアルを知っている人はいますか?

Answer 1

Hadoop ベースの Mahout レコメンデーションは、結果を HDFS に直接保存できます。

CREATE EXTERNAL TABLE recommend_tableまた、Hive を使用すると、データの場所も指定して、任意のデータの上にテーブル スキーマを作成できます( LOCATION '/home/admin/userdata';)。

このようにして、新しいデータがその場所に書き込まれると、そのデータは/home/admin/userdataすでに Hive で使用可能になり、既存のTableスキーマ (recomm_table) でクエリできるようになります。

しばらく前にブログに書いたことがあります: external-tables-in-hive-are-handy。このソリューションは、Hive アドホック クエリですぐに利用できる必要がある、あらゆる種類の map-reduce プログラムの出力に役立ちます。