問題タブ [cascading]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
templates - templatetap のスケーラビリティの問題
センサー ネットワークのデータから次の処理を行うカスケード 1.2 プログラムを作成しました。
- ミリ秒のタイムスタンプ、イベント タイプ (センサー データ、バッテリー レベル、センサー電源状態のいずれか)、イベント本文の 3 つの列を持つ CSV ファイルを読み取る
- ミリ秒のタイムスタンプを最も近い秒に切り上げ、この値で GroupBy
- イベント タイプの GroupBy
- 次のテンプレートを使用して、出力を templatetap に書き出します: "{rounded timestamp}/{event type}/"
ログ データの量が少ない場合(~300MB)、私のプログラムは正常に動作しますが、EMR クラスター上のセンサー ネットワークによって生成された実際のログ データの量 (~200GB/日) でプログラムを実行すると、リデューサーが失敗し続けます。次のメッセージが表示されます。殺す!
テンプレート タップでテンプレートを静的にすると ("{rounded timestamp}/{event type}/" ではなく "output" のように)、ジョブは問題なく 3 時間で完了します。
したがって、問題はテンプレートのタップにあるようです!
おそらく、非常に多くの動的パスを処理できないのでしょうか? (しかし、私の理解では、デフォルトのパラメーターを使用して、いつでも最大 300 個のそれらを開いたりアクティブにしたりできますか?)
パス テンプレート自体を除いて、テンプレート タップにパラメーターを渡さなかったので、他のすべてのパラメーターは既定値になっています。
「{rounded timestamp}/{event type}/」テンプレートでジョブを機能させるにはどうすればよいですか?
hadoop - Clojure Hadoop-300行のPIGに相当する5行のCascalog?
スライド36と37のこのプレゼンテーションで、Cascalogの作成者は、次のような名前と年齢のデータセットが与えられた場合、平均年齢よりも大きいすべての結果を返すクエリは300行のPIGであると主張します。
これは有効なアサーションですか?本当に何行のPIGですか?
それとも、彼が説明している問題は、私が説明した問題よりも大きいのでしょうか。
(免責事項-私はネイサンの作品、ClojureとCascalogの大ファンです-私はいくつかの事実をまっすぐにしようとしています)。
hadoop - カスケードのデカルト積
私は、単語数だけでなく、説明するすべての単語の合計の割合も見つける必要があるカスケードプログラムに取り組んでいます。単語数自体まで取得し、すべての数の合計を1つのフィールドと1つのタプルを持つ別のパイプに計算することに問題はありませんでした。
各単語数のタプルの合計を取得できれば、計算に問題はありません。単純なデカルト積です...しかし、どうすればよいですか?結合フィールドのないCoGroupである必要があるようですが、それは許可されていません。
hadoop - 破損した入力ファイルで Hadoop ジョブが失敗するのを防ぐ方法
多くの入力ファイルに対して Hadoop ジョブを実行しています。ただし、ファイルの 1 つが破損していると、ジョブ全体が失敗します。
破損したファイルを無視するようにジョブを作成するにはどうすればよいですか? カウンター/エラーログを書いてくれるかもしれませんが、ジョブ全体が失敗することはありません
c++ - C++カスケード型変換
型変換をカスケードするときに型変換を機能させるにはどうすればよいですか?
次のコードは単純なはずですが、TypeBからintへの変換では、コンパイラーが2つの型変換を自動的に推測する必要があります。しかし、そうではありません。
演算子int()const{returnval;を単純に実装することはできません。これはテンプレートクラスであると想定されているため、TypeBクラスで}どのタイプに変換するかわかりません。
よろしく
configuration - カスケード:構成ですべてのmap-reduceジョブを定義する方法は?
私のコードは以下の通りです。これはカスケードコードです。そしてそれは8つの仕事を持っています。すべてのジョブを構成する方法がわかりません。以下のコードは、8つのジョブを一緒に構成します。しかし、私がやりたいのは、最後の仕事を1つ減らすことです。この8つのジョブを再認識し、それらを個別に構成する方法を尋ねたいのですが。ありがとう。
cascading - カスケード : 複数文字の単語を読み書きするには?
「それぞれ」がファイルから GBK 文字列を読み取り、GBK 文字列をファイルに書き込む場合、どうすればよいですか? それを定義する方法は?
eclipse - Windows で Apache カスケードを使用する
カスケード ライブラリの使用を開始していますが、情報を検索すると、すべてが Linux でのカスケードに関するものです... ubuntu サーバーでせっかちな例をうまく実行しました。
しかし、WindowsでEclipseを使用してアプリケーションを開発およびテストしたい...
それは可能ですか?? どうすればそれができますか?
ありがとう
jquery - カスケード更新を防止する
私は、ready セクションに以下を含む header.js を持っています。
ここで、読み込まれるページ「tasklist.jsp」が現在のページの div に読み込まれ、30 秒ごとに更新される必要があります。tasklist.jsp には、サービスが必要な「クリック」イベントがあり、header.js のクリック イベントによって処理されます。これらを機能させるには、header.js が既に含まれているページに tasklist.jsp が読み込まれますが、tasklist.jsp に header.js を含める必要があります。ただし、これによりカスケード リロードが発生します。これを防ぐにはどうすればよいですか?適切なコードの再利用を試みることは本当に不可能ですか? 自分の部分をロードするページに header.js が既にあるはずなのに、なぜ header.js を含める必要があるのでしょうか?