問題タブ [cascading]

私は2つのテーブルを持っています。1 つは従業員と呼ばれ、もう 1 つは電話と呼ばれ、従業員は複数の電話を持つことができます。

従業員クラス:

電話クラス:

既存の従業員に電話を追加するとします。私はこれをやっています：

phoneSet 内の一部の電話が既に保持されていることを考えると、新しい電話をマージする方法がわかりません。各電話を手動で永続化する必要がありますか? 例をいただければ幸いです。カスケードを調べましたが、機能しないようです。私が受け取っているエラーは次のとおりです: java.lang.IllegalStateException: エンティティのコピーが既に別のエンティティに割り当てられています。

Amazon S3 に保存するように構成されたシンク タップでカスケードを実行しており、FileAlreadyExistsException に直面していました ([1] を参照)。これは時々発生するだけで (約 100 回に 1 回)、再現性がありませんでした。

カスケード コードを掘り下げたところ、Hfs.deleteResource() が (特に) BaseFlow.deleteSinksIfNotUpdate() によって呼び出されていることがわかりました。ところで、私たちはサイレントNPEに非常に興味をそそられました（「fsがルートディレクトリに到達したときにスローされるnpeを回避するためのハック」というコメント付き）。

そこから、独自の Tap を使用して Hfs タップを拡張し、getFileSystem(conf).delete を直接呼び出す再試行メカニズムを使用して、deleteResource() メソッド ([2] を参照) にさらにアクションを追加しました。

再試行メカニズムは改善をもたらすように見えましたが、まだ時々失敗に直面しています ([3] の例を参照): HDFS が isDeleted=true を返すように聞こえますが、フォルダーが存在するかどうかを直接尋ねると、exists=true を受け取ります。起こらない。ログには、フローが成功したときにランダムに isDeleted true または false が表示されます。これは、返された値が無関係であるか、信頼できないように聞こえます。

「フォルダーを削除する必要がありますが、そうではありません」というような動作で、自分の S3 エクスペリエンスを実現できる人はいますか? S3 の問題が疑われますが、Cascading または HDFS にも問題がある可能性はありますか?

Hadoop Cloudera-cdh3u5 と Cascading 2.0.1-wip-dev で実行しています。

[1]

[2]

[3]

このようなデータがあります

これらのキーと値は次のようになります

したがって、ClojureWerks Cassandra カスケード タップがすべての行にわたる操作を既にサポートしているかどうかを調べようとしています。ご覧のとおり、スーパー行キー、スーパー行、およびスーパー列がすべて生成されます (uuid、日付、タイムスタンプなど)。私が見た例とコードでは、列名、列フィールド名、キー列名、およびフィールド マッピングを識別する固定名を事前に指定する必要があると思われます。

MapReduce に対する Cassandra のサポートの Hadoop レベルでは、Cassandra は特定の列ファミリーからのすべてのデータ行のフェッチをサポートしているようです。ドキュメントから：

「Cassandra の行または行フラグメント (つまり、キーのペア + 列の SortedMap) は、各行からフェッチする列を記述する SlicePredicate で指定されているように、ジョブで処理するために Map タスクに入力されます。」

したがって、低レベルでは間違いなく可能であるように見えますが、Cascading レベルで私がやろうとしていることをどのように達成するかは不明です。

これには、既存のタップのバリアントを適応または作成する必要がありますか、それとも既存のタップで何らかの方法で行うことができますか?

scala でカスケード 2.0 を使用していますが、奇妙なコンパイルの問題が発生します。

これはコードの主要部分です

コードの最後の行のエラー メッセージは次のとおりです。

よろしければ、これを修正する方法と理由を教えてください。

カスケード コードを実行しているときに次のエラーが発生した場合、誰かが私を助けてくれますか? このエラーは、aCoGroup()を使用して 2 つのデータ ストリームを結合すると発生します。これら 2 つのデータ ストリームは、シンクに別々に出力される場合は問題ありません。

カスケード 2.0 と Hadoop 0.20.2-CDH3u5 を使用しています。

map-reduce では、次のように入力ファイル名を抽出します

カスケードで同様のことを行うにはどうすればよいですか

ありがとう、

Hadoop用の並列scanLeft（結合演算子のプレフィックス合計を計算する）関数を作成したいと思います（特にスケーリング。これがどのように行われるかについては、以下を参照してください）。

hdfsファイル内の数列（1行に1つ）が与えられた場合、連続する偶数/奇数のペアの合計を使用して新しい数列を計算したいと思います。例えば：

入力シーケンス：

0、1、2、3、4、5、6、7、8、9、10

出力シーケンス：

0 + 1、2 + 3、4 + 5、6 + 7、8 + 9、10

すなわち

1,5,9,13,17,10

これを行うには、Hadoop用のInputFormatクラスとInputSplitsクラスを作成する必要があると思いますが、これを行う方法がわかりません。

こちらのセクション3.3をご覧ください。以下はScalaのアルゴリズムの例です。

Hadoopとうまく連携するには、かなりの最適化が必要になる可能性があることを理解しています。これを直接翻訳すると、かなり非効率的なHadoopコードにつながると思います。たとえば、明らかにHadoopではIndexedSeqを使用できません。私はあなたが見る特定の問題をいただければ幸いです。とはいえ、おそらくうまく機能させることができると思います。

まず、英語が下手でごめんなさい...

ユーザー、アプリケーション、バンドル、エンティティの4つのエンティティを取得しました。それらの関係は次のとおりです（カスケードのpersist＆removeを使用します。以下のコードを参照してください）：

• ユーザー1-nアプリケーション
• アプリケーション1-nバンドル
• バンドル1-nエンティティ

正常に動作しています。しかし、ユーザーはデフォルトで2つのエンティティを持つことができ、私はそれらに直接アクセスする必要があります。

そこで、ユーザーに1対1の関係を持つentity1とentity2の2つのフィールドを追加します。そして今、私のアプリはクラッシュします：

この投稿で作成されたものを含め、いくつかのことを試しましたが、修正できませんでした。

よろしくお願いします。

編集：ユーザー->エンティティの関係はオプションであることを指摘する必要があります：ユーザーのentity1とentity2はnullになる可能性があります。両方がnullの場合でも、エラーが発生します。

これが私のエンティティの定義です：