hadoop - Hadoop による Cassandra と Mahout のスケールアップ

Question

Hadoop で Recommender ジョブを実行しているときに、Cassandra クラスターから入力データを取得するように Mahout を構成することはできますか?

このトピックに関するリソースをいくつか見つけました - http://www.acunu.com/2/post/2011/08/scaling-up-cassandra-and-mahout-with-hadoop.htmlを参照してください。動作していないようです (mahout-0.6 と mahout-0.7 の両方で試しました)。たとえば、 itemIDIndexPath 変数は RecommenderJob クラスにも、それが拡張する抽象クラスにも存在しないようです。

Answer 1

Cassandra に対して Pig/Hive クエリを実行してみましたが、負荷がかかると不安定になることがわかりました。問題は、Cassandra の読み取りパスが、特に Thrift ではかなり非効率的であることです。中間ステップとしてデータを HDFS にダンプし、そこから処理することをお勧めします。