問題タブ [mapper]

こんにちは、マトリックスがあり、hadoop マルチノード クラスタ セットアップのマッパー クラスに渡したいのですが、マトリックスがファイルにありません。ファイルに書き込まずに行列を渡す方法はありますか?

ここに valueinjecter doc(http://valueinjecter.codeplex.com/documentation) がありますが、私はそうではありません

これらの用語、フラット化/非フラット化、FlatLoop/UnFlatLoop ... について明確にするにはどうすればよいですか

これらをより簡単に理解できますか？

ありがとう ！

マッパーの数を増やしてレデューサーの数を減らすと、実行中のジョブのパフォーマンス (増加/減少) に違いはありますか?

また、マッパーとレデューサーの数を設定するにはどうすればよいですか? 私はこの設定で遊んだことがないので、これについてはわかりません。私は Hadoop を知っていますが、Hive をよく使用するため、コードを持っています。

また、マッパーとリデューサーの数を増やしたい場合は、それを設定する方法と、設定する値までです。インスタンスの数（10としましょう）に依存していますか？

これを試してパフォーマンスを確認したいので、返信してください。ありがとう。

Hadoop クラスターで Hive ジョブを実行しています。異なる動作マッパーとリデューサーに集中するだけで、パフォーマンスが向上/変化することを知りました。しかし、私はそれまで遊んだことがありません。いいえまで、Hive で遊んで、デフォルトのマッパーとリデューサーでクエリを実行しましたか?

マッパーとレデューサーについて知っているので、パフォーマンスが得られるようにマッパーとレデューサーに設定する値が異なることを心配しています。また、マスター ノードのみに設定する必要があるのか​​、それともすべてのノードに設定する必要があるのか​​ も考えています。

これに関連する考えがある人は、これについてのシナリオを説明してください。

また、ジョブの実行中に設定する必要がある他のパラメーターは何ですか?

私は scala を初めて使用するので、Lift 担当者が Record API をどのように実装したかについて理解できません。ただし、問題はこの API についてではなく、Scala 全般についてです。Lift で使用されるクラス パターン内のオブジェクトがどのように機能するかに興味があります。

上のスニペットでは、Lift でレコードがどのように定義されているかを確認できます。興味深いのは、フィールドがオブジェクトとして定義されていることです。API を使用すると、次のようにインスタンスを作成できます。

これはおそらくapplyメソッドを使用して行われますか？しかし同時に、次のようなことを行うことで値を取得できます。

これはどのように機能しますか？クラスのスコープ内にある場合、オブジェクトはそれほど静的ではありません。それとも、内部表現の単なるコンストラクタークラスですか? すべてのフィールドを反復処理するにはどうすればよいですか? リフレクションを使用しますか?

ありがとう、オットー

Zend ドキュメントで説明されているように、User.php モデル、DbTable/User.php モデル、および UserMapper.php ファイルがあります。

マッパーには、fetchAll()、find($id)、getDbTable()、save()、および setDbTable() があります。

次の機能を追加したい場合：

1. function doesUsernameExistAlready($username) {ブール値を返す}
2. function findByUsername($username) {$user を返す}
3. function activateUser($user) {$user をアクティブにするだけ}

Zend のベスト プラクティスに従うには、3 つの関数をどこに追加する必要がありますか? UserMapper.php または User.php に追加する必要がありますか? それともコントローラー（UserController）に属していますか？

findByUsername の場合、User テーブルでユーザー名を検索する関数を作成するにはどうすればよいですか? 私の場合、ユーザー名は電子メールアドレスであり、一意です (MySQL で定義されています)。

私はたくさんの小さなファイルを持っています、例えば20000以上。

マッパーの初期化に費やす時間を節約したいので、500個のマッパーを使用して、それぞれが40個の小さなファイルを入力として処理することは可能ですか？

可能であれば、この種の入力形式を実装する方法についてのガイダンスが必要です、ありがとう！

ところで、私はこれらの小さなファイルをマージする必要があることを知っています。この手順も必要です。

私は、多くのフィールド マッピングが行われている DDD プロジェクトに取り組んでいます。すべてのマッピングを手動で記述するのではなく、高速で堅牢なマッピング ライブラリを探していますが、そこには多くのオプションがあるようです。

現時点では、かなりの機能を提供するように見え、また、私が取り組んでいるプロジェクトにとっても重要な単体テストを念頭に置いて構築されているため、Glue に傾倒しています。マイナス面としては、200 回以上ダウンロードされただけなので、サポートが充実しているため、ValueInjecter のようなものがより良い選択かもしれないと思います。

私の質問は、Glue は他のどのマッパーよりも優れていますか、それとも劣っていますか? または、上記のマッパー間の違いは、パフォーマンスと使いやすさの点で無視できますか?

この Hadoop チュートリアルの一番下の例には、「configure()」メソッドがあります。 http://hadoop.apache.org/common/docs/r0.20.2/mapred_tutorial.html#Source+Code-N10FD0

そこに到着したことを知るために、その中にprintステートメントを入れたかったのです。ただし、コンソールには何も出力されません。私はそれを間違っていますか、それとも理解できないHadoopに何かがありますか。

ページの下部にある例の 28 行目にあります。

これが私が入れたものですが、ここでもWordCountの通常の出力のみがコンソールに入れられました。

次の形式の Json があります。

他にもフィールドがありますが、わかりやすくするために省略しています。フィールドID、テキスト、ステータス、およびタグのリストを使用して、各ストーリーをストーリークラスにマップしようとしています。以下を使用して正常に動作しています。

プロジェクトが単純なストーリーの ArrayList である場合、JsonToStory は次のメソッドです。

Story クラスは次のとおりです。

get メソッドと print メソッドを使用します。Tag クラスには、単純に 2 つの文字列フィールドが含まれています。

Tag オブジェクトの配列リストを生成するために setTags メソッドを構造化する方法がわかりません。また、役立つものを見つけることができませんでした。

ありがとう！