問題タブ [spout]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
hive - Storm トポロジの高速化
csv ファイルを HDFS から Hive に移動するアプリケーションがあります。そのプロセスには Storm Topology を使用しています。
8台のマシンが使用されています。それぞれに 22 個のコアと 512 GB の RAM があります。ただし、コードの実行は非常に遅くなります。600 万のデータ転送が完了するまでに 10 分かかります。
60 個のファイルのうち 10 MB が 1 秒間に HDFS に転送されます。コードを最適化しようとしていますが、非常に間違ったことをしていることは明らかです。
Hive テーブルには、64 個のバケットがあります。
このトポロジーには、1 つのスパウトと 2 つのボルトがあります。基本的に、Spout は CSV ファイルを取得し、データの解析を担当する最初の Bolt に行を送信し、次に、Bolt が HDFS プロセスを担当する 2 番目の Bolt に送信します。
HDFS スパウト;
マッパー;
ハイブ オプション;
構成;
トポロジビルダー;
次のパラメータについては不明です。
HDFS スパウトで。.setMaxOutstanding(50_000);
ハイブスパウトオプションで。.withTxnsPerBatch(2) .withBatchSize(50_000) .withTickTupleInterval(1);
設定で; .setNumWorkers(6); .setNumAckers(6);
スパウトとボルトの平行度; それぞれに8つ与えました。
これらのパラメーターの値は何にする必要がありますか? 前もって感謝します。
編集; これは、100 個の csv ファイルの 10 mb のテスト結果です。
hdfsSpout Executor: 8 完全遅延: 1834.209 ミリ秒
recordParserBolt Executor: 8 完全遅延: 0.019 ミリ秒
hiveBolt Executor: 8 完全遅延: 1092.624 ミリ秒
php - php と mysqli でスパウト ライブラリを使用して Excel をエクスポートするのに時間がかかりすぎますか?
スパウト ライブラリを使用して Excel を生成する際に問題に直面しています。完了するまでに時間がかかります。エクスポートするデータが大量にあります。これにより、Excel で少なくとも 600 行と 98 列が生成されます。
非常に高速なモードで Excel をエクスポートしたいのですが、実際には 2 時間以上かかります。少数の従業員の場合、Excel は非常に高速に生成されますが、500 人以上の従業員の場合はそうではありません。