問題タブ [mahout-recommender]

入力ファイル「input.txt」と「users.txt」を HDFS に正常に追加しました。Hadoop と Mahout のジョブを個別にテストして成功しました。ただし、次のコマンドラインで RecommenderJob を実行すると:

bin/hadoop jar /Applications/mahout-distribution-0.9/mahout-core-0.9-job.jar org.apache.mahout.cf.taste.hadoop.item.RecommenderJob -Dmapred.input.dir=/user/valtera45/input /input.txt -Dmapred.output.dir=/user/valtera45/output --usersFile /user/valtera45/input2/users.txt --similarityClassname SIMILARITY_COOCCURRENCE

これは私が得る出力です：

スレッド「メイン」での例外 java.io.IOException: 組織の org.apache.hadoop.hdfs.DFSClient$DFSInputStream.openInfo(DFSClient.java:1444) でファイル名 /user/valtera45/temp/preparePreferenceMatrix/numUsers.bin を開けません.apache.hadoop.hdfs.DFSClient$DFSInputStream.(DFSClient.java:1435) org.apache.hadoop.hdfs.DFSClient.open(DFSClient.java:347) org.apache.hadoop.hdfs.DistributedFileSystem.open( org.apache.mahout.common.HadoopUtil.readInt(HadoopUtil.java:339) の org.apache.mahout の org.apache.hadoop.fs.FileSystem.open(FileSystem.java:351) の DistributedFileSystem.java:178) .cf.taste.hadoop.item.RecommenderJob.run(RecommenderJob.java:172) org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65) org.apache.mahout.cf.taste.hadoop .item.RecommenderJob.main(RecommenderJob.java:322) で sun.reflect.NativeMethodAccessorImpl.invoke0(ネイティブ メソッド) で sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) で sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) で java.lang.reflect org.apache.hadoop.util.RunJar.main(RunJar.java:156) の .Method.invoke(Method.java:606)

スタンドアロンの Mahout ジョブを実行すると、Mahout ディレクトリ内に一時フォルダーが作成されます。RecommenderJob は、このステップを通過できないようです。何か案は？前もって感謝します。私が使用している入力ファイルが適切にフォーマットされていることはわかっています。

NearestNUserNeighborhoud を変更して、信頼ネットワークに属するユーザーに特別な価値を追加しました。信頼ネットワークはデータベース (MySQL) にあります。

特定のユーザーにアイテムを推奨すると、うまく機能し、推奨事項が提供されます。

ただし、データベース/ユーザーの信頼ネットワークにいるユーザーを比較する場合、RMSE を評価すると非常に遅くなります。(何千もの select ステートメントを実行します)

最初のデータ モデルは csv ファイル上にあり、userid itemid rating の形式になっています。一方、データベースでは truster trustee の形式になっています。

妥当な時間内に RMSE を評価するために何を提案しますか?

多数の *.csv ファイルを使用して DataModel を作成したい (これらは同じ形式で、データが異なる)
しかし、その方法がわかりません。
mahout のドキュメントで関数を見つけることができません。(mahout-API)
「多数の *.csv ファイルを 1 つの *.csv ファイルにするモジュールを作成する」のみの解決策ですか?
助けてください...！

類似度マトリックスを再計算せずに、同じアイテム セット内のアイテムの好みを持ち、既存のユーザー評価からアイテムの類似度マトリックスを知っている新規ユーザー向けのレコメンデーションを計算できますか?

Hadoop でコンテンツ ベースのレコメンデーション プロジェクトのアイデアを実装することを考えています。

weka を hadoop で使用できるかどうか、または cbf ベースの実装に Mahout を使用することをお勧めするかどうかの提案が必要でした

お知らせ下さい

ありがとう

PredictionIO音楽レコメンドシステムの構築に利用を検討しています。

ただし、ユーザーとアイテムのインタラクションでは、次のアクションのみがサポートされます: 好き、嫌い、ビュー、コンバージョン、およびレート (スケール 1 から 5)。

私の既存のデータはビュー (ユーザーが曲を聴いている) のみで構成されています。

PredictionIOデータを入力に変換するにはどうすればよいですか? 同じユーザー アイテムに対して複数のビュー レコードを持つことはできますか (より多くのビュー = より多くの重み)、またはPredictionIOタイムスタンプに基づいて最新のものを調べますか?

Mahout in Action ブックを読んで、分散型レコメンデーション エンジンの例を試しています。ただし、ウィキペディアのデータセットの代わりに、小さなデータセットを例として使用しています。

input.txt->

user.txt->

ここで、input.txt と user.txt は次の形式user,itemであり、input.txt はユーザーが過去に購入したアイテムを表し、user.txt は現在の購入を表します。

これら2つのファイルをhdfsにコピーして実行すると

hadoop jar mahout-core-0.5-job.jar \ org.apache.mahout.cf.taste.hadoop.item.RecommenderJob \ -Dmapred.input.dir=input/input.txt \ -Dmapred.output.dir=output - -usersFile 入力/user.txt --booleanData

マップ削減は適切に実行されます。ただし、出力をチェックするとbin/hadoop fs -cat output/ part-r-00000

空のファイルを見つけました。

誰かが私に何が悪いのか説明できますか? 私が正しく理解していれば、レコメンダージョブはアイテム間の類似性マトリックスを構築し、それをユーザーアイテムマトリックス（user.txtから）で乗算して結果を生成する必要があります。

理解の助けが必要です。単一ノードで Mahout 0.5 と hadoop 1.2 を使用しています。バージョンの互換性の問題ではないことを願っています。

編集

user.txt を次のように変更すると、回答が得られます

2

また

1