問題タブ [mapper]

couchbase（オブジェクトをjson形式で保存するnoSQLデータベース）とphpを使用する新しいプロジェクトを開始しています。

問題は、jsonを自分のphpクラスの1つに（またはその逆に）マップするものがあれば、両方を操作するのは本当に簡単だということです。

そのためのライブラリを知っていますか？

私は現在、アプリケーションで DTO を BO (およびその逆) に手動でマッピングしています。ただし、この方法は扱いにくく、扱いにくいものです。

これら 2 つの表現の間に適切なマッパーはありますか?

私の要件は次のとおりです。

• JPA プロキシから識別子への変換をサポートする必要があります (DTO は他の DTO に直接リンクしないでください)。または、この機能は簡単に実装できるはずです
• 注釈ベースであり、構成よりも規約が必要です
• 柔軟な基準: 複数の DTO を 1 つのエンティティにマッピングできるようにする必要があります (逆も同様)。

提案をありがとう。

まず、私は持っています：

これは動作します..

今、私は次のような「ラッパークラス」を持っています:

itens は人のリストにすることができます。しかし、(Person の) すべてのフィールドをシリアル化することはできません。ResponseJsonSerializer は何を書き込むことができるかを知っています。

Insite ResponseJsonSerializer、私は持っています:

しかし、コンソールは言う:No serializer found for class ...SSN and no properties discovered to create BeanSerializer (to avoid exception, disable SerializationConfig.Feature.FAIL_ON_EMPTY_BEANS) )

ResponseJsonSerializer 内で、フィールドで宣言されたシリアライザーを使用するにはどうすればよいですか?

hadoopの新機能-HDFSファイルをチャンクで読み込もうとしています。たとえば、一度に100行ずつ、マッパーでapacheOLSMultipleLinearRegressionを使用してデータで回帰を実行しています。私はここに示されているこのコードを使用して複数の行を読んでいます：http：//bigdatacircus.com/2012/08/01/wordcount-with-custom-record-reader-of-textinputformat/

私のマッパーは次のように定義されています。

私の質問は、system.out.printlnからlcount == 1になるのはなぜですか？ファイルは「\n」で区切られ、レコードリーダーでNLINESTOPROCESS=3に設定しました。私の入力ファイルは次のようにフォーマットされています：

回帰APIは複数のデータポイントを取り込むため、一度に1行しか読み取っていない場合、重回帰を実行できません...助けてくれてありがとう

私の1つのMapReduceタスクでは、BytesWritableをKeyBytesWritableとしてオーバーライドし、ByteWritableをValueBytesWritableとしてオーバーライドします。次に、SequenceFileOutputFormatを使用して結果を出力します。

私の質問は、次のMapReduceタスクを開始するときに、このSequenceFileを入力ファイルとして使用したいということです。では、どのようにジョブクラスを設定でき、Mapperクラスは以前にオーバーライドしたSequenceFileのキーと値をどのように識別できるのでしょうか。

SequenceFile.Readerでキーと値を読み取ることができることを理解しています。

しかし、このリーダーを使用して、キーと値をパラメーターとしてMapperクラスに渡す方法がわかりません。conf.setInputFormatをSequenceFileInputFormatに設定してから、Mapperにキーと値を取得させるにはどうすればよいですか？

ありがとう

Amazon Elastic MapReduceで使用/利用可能なインスタンスに応じて、使用するHadoopマッパーとレデューサーの適切な数を計算するための最良の方法は何ですか？（mahout-core-0.7ディストリビューションのRecommenderJobを使用）

Hadoop map reduce で単純なハッシュ結合プログラムを作成しました。アイデアは次のとおりです。

Hadoop フレームワークが提供する DistributedCache を使用して、小さなテーブルがすべてのマッパーに配布されます。大きなテーブルは、分割サイズが 64M のマッパーに分散されます。マッパーのセットアップ コードは、この小さなテーブルからすべての行を読み取るハッシュマップを作成します。マッパーコードでは、ハッシュマップ上ですべてのキーを検索(取得)し、キーがハッシュマップに存在する場合はそれを書き出します。この時点ではレデューサーは必要ありません。これは私たちが使用するコードです:

このコードをテストしている間、小さなテーブルは 32M、大きなテーブルは 128M で、1 つのマスター ノードと 2 つのスレーブ ノードでした。

256M のヒープがある場合、このコードは上記の入力で失敗します。mapred-site.xml ファイルの mapred.child.java.opts で -Xmx256m を使用します。300m に増やすと、進行が非常に遅くなり、512m で最大スループットに達します。

マッパーがどこで大量のメモリを消費しているのかわかりません。上記の入力とマッパー コードを使用すると、ヒープ メモリが 256M に達するとは思えませんが、Java ヒープ スペース エラーで失敗します。

マッパーが大量のメモリを消費している理由を教えていただければ幸いです。

編集：

私のhadoopジョブでは、入力データファイルを除いて、各マッパークラス（mapメソッド）に、hdfsに配置した共通ファイルを読み取らせます。このファイルは各マッパーに読み込まれ、各マッパーにコンテンツが保存されます。それで、それをどのように行うのですか？

マッパーから直接 Hadoop ファイル システムにプレーン テキスト ファイルを書き込もうとしています。

私は次のようにします：

また、疑似分散モードでは何も書き込みません。ただし、スタンドアロンでは完璧に書きます。

問題はどこだ？

Lift アプリをデータベースに接続しようとしています。私は操作を行うための次のコードを持っています。lift-mapper_2.9.1 をダウンロードしてアプリに含め、boot.scala に次のコードを指定しました

src/main/resources/props/default.props ファイルに db.class とその他のプロパティを設定しました。しかし、ここでは最初の行に1つのエラーが表示されています。

私は何を間違えたのかわからない。誰でも提案をすることができます。事前に感謝します。