問題タブ [mahout]

hdfsには200以上のxmlファイルがあります。（mahoutの）XmlInputFormatを使用して要素をストリーミングします。マッパーはxmlの内容を取得して処理することができます。しかし、問題は最初のxmlファイルだけが処理されることです。ただし、多数の小さなテキストファイルを処理する場合、最初のファイルが処理された後、次のファイルがHadoopによってマッパーに渡されます。これがxmlファイルのデフォルトの動作ではないかどうか、およびxmlファイルのセット全体を反復処理するために何を行う必要があるかを教えてください。ありがとう。

Mahout を使用して一連のツイートに対して NaiveBayes を実行しています。100 MB と 300 MB の 2 つのファイル。JAVA_HEAP_MAX を JAVA_HEAP_MAX=-Xmx2000m に変更しました (以前は 1000 でした)。しかし、それでも mahout は数時間 (正確には 2 時間) 実行された後、ヒープ スペース エラーが発生しました。解決するにはどうすればよいですか?

それが役立つ場合の詳細情報：私は単一のノードで実行しており、実際にはラップトップであり、3GBのRAM（のみ）を搭載しています。

ありがとう。

編集: 最初に使用したデータの 1/2 未満で 3 回目を実行しました (最初は 550 万件のツイートを使用し、2 回目は 200 万件を使用しました)、それでもヒープ領域の問題が発生しました。完了のために完全なエラーを投稿しています：

そして、私が変更した bin/mahout スクリプトの一部を投稿しています: オリジナル:

変更:

私は魔法使いを学ぶ初心者です。

mahoutには5人の推薦者がいることがわかりました。ユーザーベース、アイテムベース、...

私が使用したデータセットはmovielens 100Kです

ユーザーベースの映画レコメンデーションとは少し異なる映画レコメンデーションを実装することを考えています。つまり、ユーザー ID を入力として 1 人のユーザーのみに映画を推薦する代わりに、ユーザーの人口統計情報 (年齢層、性別、職業、郵便番号など) を取得したいと考えています。

しかし、問題は、独自のユーザー類似度メソッドを作成する方法 (元のメソッドは 2 つの long 型のユーザー ID をパラメーターとして使用する方法) と、u.user ファイルと u.data ファイルを組み合わせる方法です。

ユーザーの好みや閲覧履歴に基づいて、Apache Mahout でレコメンデーション システムを実行するにはどうすればよいですか? つまり、コンテンツ ベースの Web サイトでは、ログインしていないユーザーによる 95% のトラフィックがあり、それらは検索エンジン経由でアクセスされます。IP を使用して一意にする唯一の方法です。ユーザーの同様のブラウジング行動を見つけて、関連するコンテンツを推奨できる Apache Mahout はありますか?

本からコピーした例から始めて、 mahout の使い方を学んでいます。ただし、Eclipse コンパイラーから次のメッセージが表示されます。

問題は、このライブラリ自体に属する FileDataModel.java にあるようです。このエラーを追跡または分析する方法。

コード例は次のとおりです。これはまさに本からコピーしたものです。トラブルの原因となっている回線は

オープンソースライブラリをコンパイルしようとしていますが、次の問題が発生します。2つのライブラリslf4j-jcl-1.6.0.jarとslf4j-api-1.6.0.jarを保持すると、Eclipseコンパイラは次のエラーメッセージを表示します。

SLF4J：クラスパスに複数のSLF4Jバインディングが含まれています。SLF4J：[jar：file：/home/chengs6/mahout/mahout-distribution-0.5/mahout-examples-0.5-job.jar!/org/slf4j/impl/StaticLoggerBinder.class]でバインディングが見つかりました[jar： jar：file：/home/chengs6/mahout/mahout-distribution-0.5/lib/slf4j-jcl-1.6.0.jar!/org/slf4j/impl/StaticLoggerBinder.class]

これらの2つのライブラリを削除すると、コンパイラは次のエラーメッセージを表示します。

2011年6月15日14:51:12org.slf4j.impl.JCLLoggerAdapterエラー

この問題を解決するにはどうすればよいですか？ありがとう。

Apache Mahout の使用を検討しており、その例の 1 つを実行すると、次のメッセージが表示されます。

実際、実行後にそこに のディレクトリ*/output/dataが作成されていることがわかりました。このエラー メッセージの意味がわかりません。

非常に巨大なマトリックス（100Gbを超える約300.000x100.000の値）でk-meansクラスタリングを実行する必要があります。Rソフトウェアを使用してこれまたはwekaを実行できるかどうかを知りたいです。私のコンピューターは、8GbのRAMと数百Gbの空き容量を備えたマルチプロセッサーです。

計算に十分なスペースがありますが、そのようなマトリックスのロードはRの問題のようです（bigmemoryパッケージを使用しても、十分なスペースがない場合は、すべてのRAMとスワップファイルを自動的に使用するのに役立つとは思いません）。

だから私の質問は：どのソフトウェアを使うべきか（最終的には他のパッケージやカスタム設定と組み合わせて）です。

私を助けてくれてありがとう。

注：私はLinuxを使用しています。

Mahoutのようなオープンソースソフトウェアをインストールしている間、私は次のようないくつかのメモを読みました

MahoutのMavenプロジェクトをEclipseプロジェクトに変換します

これは何を意味するのでしょうか？MavenプロジェクトとEclipseプロジェクトの違いは何ですか？

「Mahout in Action」のサンプルコードをEclipseでコンパイルしようとしています。「LimitedMemoryDiffStorage.java」という名前の Java ファイルがあります。基本的にクラスを定義するだけです

}

しかし、Eclipseコンパイラの状態

コンストラクター MemoryDiffStorage(DataModel, Weighting, boolean, long) は未定義です

mahout-core ライブラリで定義され、ビルド パスに含まれていると思いますが、なぜこの種のエラーが発生するのでしょうか?