問題タブ [mappers]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
hadoop - Hadoop でマッパーの実際の数を取得する
プログラムのマップ フェーズでは、作成されたマッパーの総数を知る必要があります。これは、マップのキー作成プロセスに役立ちます (マッパーの数と同じ数のキーと値のペアを各オブジェクトに発行したい)。
マッパーの数を設定することはヒントにすぎないことはわかっていますが、実際のマッパーの数を取得するにはどうすればよいでしょうか。Mapper の configure メソッドで次のことを試しました。
しかし、私は結果を得る:
これは (?) 印刷された 1 つだけでなく 2 つのマップ タスクがあることを意味します (2 つの小さな入力ファイルがあるので、これは非常に自然なことです)。マップ タスクの後の数は 2 であるべきではありませんか?
今のところ、入力フォルダー内のファイル数を数えるだけですが、ファイルがブロック サイズよりも大きくなり、複数の入力分割が発生してマッパーが発生する可能性があるため、これは適切な解決策ではありません。助言がありますか?
hadoop - Hadoop ジョブがマップ 0% で停止し、0% を削減
「map 0% reduce 0%」でスタックする Hadoop ジョブを実行しています。より具体的には、マッパーはすべて「STARTING」状態にあり、実際に実行を開始しているようには見えません。
ログを調べてみましたが、いくつかの非推奨メッセージ以外には何も表示されませんでした。何を探すべきか正確にはわかりませんが、誰かが推奨事項を持っているかどうか疑問に思っていましたか?
編集1:
stderr ログ:
hadoop - 任意の数のマッパーを設定する
Hadoop でのマッパーの設定方法を知るために、stackoverflow と apache wiki に関する多くのブログを調べました。また、[ hadoop - 合計マッパーがどのように決定されるか] [この] 投稿も確認しました。InputFormat に基づいていると言う人もいれば、入力ファイル ID が分割されたブロックの数に基づいていると言う投稿もあります。
デフォルト設定に戸惑っています。
wordcount の例を実行すると、マッパーが 2 と少ないことがわかります。設定で実際に何が起こっているのでしょうか? この投稿もQuasiMonteCarlo.java] [プログラム例]. ここでは、ユーザー入力に基づいてマッパーを設定します。この設定を手動で行うにはどうすればよいですか?
マッパーがどのように機能するかについての助けと理解をいただければ幸いです。
前もって感謝します
ant - マッパーを使用して複数のファイル形式を変換するための Ant スクリプト - 二重拡張子ファイルの作成
複数のファイル形式を単一のファイル形式に変換したい。例: D:\myrepo\rough には 3 つのファイルがあります 1. abc.sql 2. def.xml 3. ghi.dmp
glob マッパーを使用して、それらすべてを .txt に変換したいと考えています。
これにより、1. abc.sql.txt 2. def.xml.txt 3. ghi.dmp.txt が得られます。abc.txt、def.txt、および ghi.txt のみが必要です。
これを修正する方法を教えてください (from= " . " も役に立ちません)。
javascript - すべての頂点に同じ色を返す Cytoscape.js mapData マッパー
Cytoscape.js mapData() マッパーを使用して、頂点の背景色に赤と青の間の色のグラデーションを生成しようとしています。ドキュメントの正確な例を使用しています:
ただし、すべてのノードを青色に設定します。次数はデータによって異なり、サイトスケープの「data(degree)」マッパーがノード サイズの設定に機能することがわかっています。これに関する指示やアドバイスは非常に役に立ちます。私は何を間違っていますか?