問題タブ [cascading]

MapReduceとの両方Mapperを含むフローを実行するカスケード フローを作成しReducerました。メソッドではreduce()、 をスローしIllegalArgumentExceptionます。これを処理する方法はexception？catch block同じために JobConf を作成し、それを に追加したクラスに書きましたMapReduceFlow constructor。

ContainerType1 というエンティティと Thing という子があり、ContainerType1 と Thing の間に 1 対多の関係があるとします。ContainerType1 には Thing のセットがあります。そして、それは双方向の関係ではないので、Thing はそれが含まれているオブジェクトを認識していないとします。後で、ContainerType2 と ContainerType3 が必要になる場合があります。Thing のすべてのコードをモジュール化し、それがコンテナーであることを認識しないようにしたいと考えています。クライアント側で、Thing のインスタンスを削除するためにサーバーへの呼び出しを開始した場合、これをさまざまなコンテナーにカスケードさせたいと考えています。

それで、永続化や削除などの操作を呼び出して、カスケードによって触れられたものの結果を取得する方法はありますか? この場合、モノを削除する呼び出しで、次のように言いたいと思います。どのコンテナがセットから削除されたのですか? 私はJPA経由でHibernateを使用しており、JPAのみのソリューションを好みますが、JPAまたはHibernateの世界でこれを行うことができるかどうかはわかりません. ここでのアイデアは、Thing を失ったためにどのコンテナーを更新するかをクライアントに通知することです。0..n 個のコンテナーである可能性があります。

より大まかに言うと、hibernate/JPA に何かを実行するように指示してから、「すばらしい、それはすべて自動的に行われました。今、何をしたか教えてください」と言うことができますか?

null になる可能性のあるフィールドに対してカスカログで外部結合を行うときに、デフォルト値を指定する最良の方法は何だろうと思っていました。

この例では、users と active は以前に定義されたクエリであり、アクティブなユーザー情報 (?fname ?lname !days-active) と通常のユーザー情報 (?id ?fname ?lname) を関連付けようとしています。

そのため、!days-active に対応する情報がない場合に結合が発生すると、nil ではなく 0 が出力されます。

それ以外の

更新された例

出力例はおおよそ次のようになります

私が興味を持っているフィルタリングを使用すると、!!engaged-users および !!user-clicks になるフィールドを null ではなく 0 に変更できます。複数のOr述語を使用すると機能しますか?

Hadoop カスケーディングを学ぶための簡単な例、リンク、書籍を教えてください。カスケーディング サイトhttp://www.cascading.org/以外に良いリソースが見つかりませんでした

単語間の共起類似度を計算するために Hadoop を使用しています。次のような共起単語のペアで構成されるファイルがあります。

私は単語をノードとして扱うグラフベースのアプローチを使用しており、共起する単語はそれらの間にエッジがあります。私のアルゴリズムは、すべてのノードの次数を計算する必要があります。Map-Reduce以下を出力する合計学位を計算するジョブを正常に作成しました。

現在、出力はファイルに書き戻されますが、代わりに、結果をjava.util.HashMap. HashMap次に、これを別のReduceジョブで使用して、最終的な類似度を計算したいと考えています。

ここに私の質問があります：

1. リデュース ジョブの結果をメモリに取り込むことはできますか ( List、Map)。もしそうなら、どのように？
2. これは最善のアプローチですか？そうでない場合、これにどのように対処すればよいですか?

Oozie には、oozie.launcher.action.main.class という構成プロパティがあり、map-reduce アクション (またはシェル アクション) の「メイン クラス」の名前を次のように渡すことができます。

しかし、引数をメイン クラスに渡す必要があり、それを行う方法がわかりません。何か案は？

Oozie 内から Cascading クラス/フローを起動しようとしていて、これまでに試したすべてのオプションが失敗したため、質問しています。誰かが Oozie から Cascading を動作させた場合は、私に知らせてください。特にそれを尋ねる別の質問を投稿します。