問題タブ [mappers]

map /reducealghoritmとその使用法について知っています。マッパーとレデューサーと呼ばれる関数を使用していますが、フィルターという言葉を使用している人もいます。

フィルタはマッパーと同じですか、それとも大きな違いがありますか？

マッパー、実際のオブジェクト、および table_objects を使用して ZF を操作するより良い方法はありますか。

これは、Zend Framework で行う方法です。

ユーザー クラス -> ユーザー オブジェクト:

マッパー:

コントローラーでの使用法: リスト アクション:

または追加/保存アクション:

私はORMの世界に不慣れで、doctrine 2をzfプロジェクトに統合しています。私はドクトリンのドキュメントとさまざまな記事を読み、それを統合しました:)。

マッパーとエンティティを生成するための既存の DB があります。デフォルトのアノテーションの代わりに XML/YAML マッパーを使用したいと考えています。

「 doctrine.php (doctrine 公式ドキュメントで提供)」ファイルが存在するbin ディレクトリで以下のコマンドを実行することにより、マッパーとエンティティを生成する CLI コマンドがどこにでも表示されます。

マッパーを生成するには:

エンティティ/モデル クラスを生成するには:

しかし、コマンドを実行してマッパー/エンティティを生成したくありません。私はそれを行うPHPスクリプトを探しています(コントローラーでアクションメソッドを呼び出すことにより、例: www.doctrineproj.com/admin/mdoels/autogenerate/ )。

CLIスクリプトを実行する代わりに、APIクラスまたはphpコードでこれを行う方法はありますか. のように呼び出すことによって可能性があります

マッパーを生成するには: doctrine_core:: generateMappers(dbParams,mapperDriver)

エンティティを生成するには: doctrine_core::generateEntities(metaData)

また

システムのような呼び出しを使用して、php スクリプト ファイルからすべての CLI コマンドを実行する方法はありますか?

上記のcliコマンドを使用して、 exec() および system() を使用してみました。しかし、それはうまく機能していません:(。

アクションメソッドからマッパーを生成するために使用したコードは次のとおりです

パブリック関数 autogenerateAction(){

}

しかし、上記のコードは目的のディレクトリにマッパーを作成していません。

自動化されたphpスクリプトを使用してDBからマッパーとエンティティを自動生成するための最良の解決策を提案してください。

最善の解決策を楽しみにしています。

ありがとうラージ

文字列から整数IDへのマッピングを行う必要があります。UDF関数を実行して、この文字列を渡してスローすることを検討していました。これを機能させるには、マッパーが1つ必要です。

マッパーを1にブロックするにはどうすればよいですか？

助けてくれてありがとう

何らかの方法で同じオブジェクトを読み取るさまざまな *Mapper.xml ファイルから特定のものを再利用したいと思います。

Project という名前のデータベース テーブルがあり、これに対して次の resultMap を作成しました。

これは ProjectMapper.xml でうまく機能しますが、今は SELECT * FROM CLIENT、PROJECT where PROJECT.CLIENT_ID = CLIENT.ID を実行し、List オブジェクトで Client オブジェクトを返したい ClientWithProjectsMapper.xml を作成したいと考えています。つまり、単一の SQL で ClientWithProjects を取得したいのです。

私のマッピングでは、ProjectMapper.xml で定義した ProjectMap (コピー/貼り付けなし) を再利用したいのですが、これを実現する方法がわかりません。

ProjectMap を別のファイルに分割することはできますが、MyBatis には他のファイルを #include する機能が見つかりませんでした。

これを行う方法についてのアイデアはありますか？（私はMavenを使用しています.#includeなどを探してファイルをフィルタリングし、ファイルの内容を処理中のファイルに直接含めるプラグインはありますか？）.

ありがとう。

-AP_

Intel(R) Core(TM)2 Duo プロセッサを使用しています。Hadoop を疑似分散モードでインストールしました。50 のマッパー ノードを必要とするプログラムを作成しました。疑似分散モードで 50 のマッパー ノードを持つことは可能ですか、それとも 4 ノード (2 * コア数) に制限されますか。「mapred.tasktracker.map.tasks.maximum」を 50 に設定してみましたが、同時実行性に変化はありません。

したがって、ジョブ A とジョブ B の 2 つのジョブがあります。ジョブ A については、ノードごとに最大 6 つのマッパーを使用したいと考えています。ただし、ジョブ B は少し異なります。ジョブ B では、ノードごとに 1 つのマッパーしか実行できません。この理由は重要ではありません。この要件は交渉の余地がないとだけ言っておきましょう。Hadoop には、「ジョブ A の場合、ノードあたり最大 6 つのマッパーをスケジュールしますが、ジョブ B の場合、ノードあたり最大 1 つのマッパーをスケジュールします」と伝えたいと思います。これはまったく可能ですか？

私が考えることができる唯一の解決策は次のとおりです。

1) メインの Hadoop フォルダーから conf.JobA と conf.JobB の 2 つのフォルダーを作成します。各フォルダーには、mapred-site.xml の独自のコピーがあります。conf.JobA/mapred-site.xml の mapred.tasktracker.map.tasks.maximum の値は 6 です。conf.JobB/mapred-site.xml の mapred.tasktracker.map.tasks.maximum の値は 1 です。

2) ジョブ A を実行する前に:

2a) タスクトラッカーをシャットダウンする

2b) conf.JobA/mapred-site.xml を Hadoop の conf フォルダーにコピーし、既にそこにあった mapred-site.xml を置き換えます。

2c) タスクトラッカーを再起動する

2d) タスクトラッカーの起動が完了するまで待ちます

3) ジョブ A を実行する

ジョブ B を実行する必要がある場合は、同様のことを行います。

私はこの解決策が本当に好きではありません。それは無愛想で失敗しやすいようです。私がする必要があることを行うためのより良い方法はありますか?

200個の入力ファイルと20個のノードがあり、各ノードに10個のマッパースロットがあるとします。Hadoopは、各ノードが10個の入力ファイルを取得し、同時に10個のマッパーを開始するように、常に作業を均等に割り当てますか？この動作を強制する方法はありますか？

Amazon EMR で wordcount の例を実行しようとしています。

-1- まず、次のコマンドでクラスターを作成します。

./elastic-mapreduce --create --name "MyTest" --alive

これにより、単一のインスタンスを持つクラスターが作成され、ジョブ ID が返されます。たとえば、j-12NWUOKABCDEF とします。

-2- 次に、次のコマンドを使用してジョブを開始します。

./elastic-mapreduce --jobflow j-12NWUOKABCDEF --jar s3n://mybucket/jar-files/wordcount.jar --main-class abc.WordCount --arg s3n://mybucket/input-data/

--arg s3n://mybucket/output-data/

--arg -Dmapred.reduce.tasks=3

私の WordCount クラスは abc パッケージに属しています。

これは問題なく実行されますが、レデューサーは 1 つしか取得できません。つまり、パラメーター「mapred.reduce.tasks=3」は無視されます。

アプリケーションで使用するレデューサーの数を指定する方法はありますか?

ありがとう、ニーラジ。

マッパー Mapper_i からレデューサー Reducer_j に転送される各 (key_a,value_a) ペアが消費する時間を測定しようとしています。

つまり、 (key_a,value_a) が Mapper_i を離れてから Reducer_j に到達するまでの時間を知りたいですか?

マッパーからレデューサーへのこの転送時間を取得する方法はありますか?