問題タブ [cascading]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
hadoop - カスケード関数は Hadoop マッパー関数としてシングル スレッドで実行されますか?
カスケード ドキュメントの章 5.2 関数を読んでいますが、次のコードで何が起こるのだろうかと思います。マルチスレッド環境で正常に動作するはずですか? より一般的な質問は、関数をマルチスレッド化できるかどうかです。私が知っているように、単一のマッパーはシングルスレッドです。
具体的には、そのようなコードをテストしましたが、これはスレッドセーフではないようです。(39) ページのドキュメントを正しく理解していない可能性があります。
twitter - Scalding: groupBy('field){.size} の後、他のフィールドを保持する方法は?
したがって、入力データには id1 と id2 の 2 つのフィールド/列があり、コードは次のとおりです。
出力結果は、(私が想定する) 2 つのフィールドになります: id2 * サイズ。id2 とグループ化された id1 の値を保持し、それを別のフィールドとして追加することが可能かどうかを調べることに少し行き詰まっていますか?
hadoop - 特定の列データを更新する Hadoop カスケード フレームワーク
私はmongodb
このようなコレクションを持っています
別のコレクションから何らかの評価を行うカスケード ジョブがあり、他の列に影響を与えることなく、"<code>Id" によって "<code>verificationStatus" 列と "<code>updateTime" 列だけを更新したい
しかし、これら 2 つの列を設定すると、カスケードで他の列のデータが失われます。このようなものが残っています。
SinkMode UPDATE
トランザクションごとの更新には適していますが、個々の列データには適していません。
この問題にどのようにアプローチできますか?
PS: 結合またはマージは機能しません。ソースとシンクは、カスケード設計により同じコレクションを指すことができないためです。
hadoop - カスケード フレームワークと Talend などの ETL ツールの比較
ETLの作成にはCascadingフレームワークを使用しています。
カスケードは与えます。
- 最適化された結合
- 並列実行ジョブ
- チェックポイントの作成
- 開発者は自分の好きな言語 (java、ruby、scala、clojure) で作業できます。
- 単体テスト。
現在、一部の X ETL (コストがかかる) ジョブを Hadoop ジョブに変換する 2 つのオプションがあります。
- ワークフローのカスケード。
- タレントの仕事。
私の質問はです。
- Talend は、ジョブを作成するためのコンポーネントとして豚、ハイブなどを使用します。では、パフォーマンスに何らかの利点があるのでしょうか、それとも talend は即興演奏を行っているのでしょうか?
- Talend に関する限り、単体テスト (Cascading フレームワークが提供するもの) について心配する必要はありますか?
- ジョブの作成 (X ETL から Hadoop ジョブへの変換) にカスケードではなく Talend を選択した場合、それは適切なオプションでしょうか。
X ETL をカスケード ワークフローに変換するには、指定された X ETL で使用可能なすべてのコンポーネントを作成する必要がありますが、1 回限りの作業になります。次に、Talend Studio が提供する次のような他の機能についても考える必要があります。
/li>- 保守性に関する限り、カスケーディング ジョブはかなり適切に管理されています。だれでも talend に関する情報を提供できます。
要するに、私は X ETL から Hadoop ジョブへの変換ツールを作成しています。また、Cascading フレームワークまたは Talend から選択する必要があります。
asp.net - ASP.NET から SSRS にカスケード パラメーターを渡す方法
SSRS レポートの表示に使用される Web アプリケーション (ASP.NET) を構築しようとしています。
私のレポートには、A、B、C、D の 4 つのカスケード パラメーターがあります。C と D は論理的に A の値に「依存」します (これは、C と D の DataSet が A の値に基づいてフィルター処理されることを意味します)。プログラム的に (SSRS で) B は A に依存し、C は B に依存し、D は C に依存します。
次の方法で事前に設定しようとしています。
これを行うと、TopX パラメータに値がないというエラーが発生します。これは 2 番目のパラメーターで、デフォルト値 (="Top1") があります。
誰でも助けてもらえますか?各パラメーターで使用可能な値について SSRS レポートを動的に照会し、値を選択する方法はありますか?
hadoop - Hadoop カスケード: Cogroup パイプが 2 回実行されると、CascadeException "no loops allowed in cascade" が発生する
2 つのフローで構成されるCasacading(v1.2) casade ( http://docs.cascading.org/cascading/1.2/userguide/htmlsingle/#N20844 ) を作成しようとしています。
1) 最初のフローurl
は s を db テーブルに出力します (自動インクリメント ID 値によって ID が自動的に割り当てられます)。このフローでは、URL のペアもSequenceFile
フィールド名 " urlTo
"、" urlFrom
" に出力されます。
2) 2 番目のフローは、これらの両方のソースから読み取り、CoGroup
on " urlTo
" (SequenceFile から) および " " (db ソースから) を実行して、各 " "url
の db レコード " " を取得しようとします。id
urlTo
次に、CoGroup
on " urlFrom
" および " " を実行して、各 " "url
のデータベース レコード " " を取得します。id
urlFrom
2 番目のフローを実行する前に最初のフローで flow.complete() を呼び出すと、2 つのフローは個別に機能します。しかし、2 つのフローをカスケード オブジェクトに入れると、エラーが発生します。
カスケードを構成しようとすると。
addEdgeFor
の機能から来ていることがわかりますがCascadeConnector
、この問題を解決する方法がわかりません。
Cascade
/を使ったことがないCascadeConnector
. 足りないものはありますか?
vb.net - vb.netのカスケードコンボボックスアイテムをループする
Web ページには 3 つのカスケード コンボ ボックスがあります。それぞれが 3 つのアイテムを持っているとします。ページの読み込み中、すべてがインデックス 0 に設定されます。しかし、最後の (3 番目のコンボ ボックス) には、上の 2 つのコンボ ボックスが変更されていなくても、いくつかの値があります。値がどのように変化したかを以下に示します。
最後に、この Web ページがvb.net の Web ブラウザー コントロールに読み込まれます。Web ブラウザーからは、index changed イベントを発生させることによって値が変更されます。
4 つのコンボ ボックスがカスケード接続されているページがもう 1 つあります。
これら 2 つのページで変化するすべてのインデックスをループして、すべての可能な値を取得する必要があります。
コンボ ボックスの数は、ページごとに異なる場合があります。カウントはわかっていますが、考えられるすべての値を取得するには、共通のメソッドが 1 つ必要です。
以下に一般的な方法で示すように、ループを介してすべてのコンボボックスの値を取得する方法は?
値は以下の形式にする必要があります