問題タブ [kubeflow]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
295 問題
0
投票する
1
に答える
434
参照
kubernetes - 現在のサイズ制限のある大規模な動的配列と ParallelFor を処理する KubeFlow
この 1 日間、この方法の適切な解決策を見つけるのに苦労しており、ご意見をお聞きしたいと思います。
大規模で動的な JSON 配列 (文字列化されたオブジェクトのみを含む) を受け取るパイプラインがあります。その配列の各エントリに対して ContainerOp を作成できる必要があります (dsl.ParallelFor を使用)。
これは、小さな入力の場合にうまく機能します。
現在、argo と Kubernetes のパイプライン入力引数のサイズ制限により、配列はファイル http url として入っています (または、現在の未解決の問題から私が理解したことです) が、使用する 1 つの Op からファイルを読み込もうとするとParallelFor の入力として、出力サイズの制限に遭遇しました。
このようなシナリオでは、再利用可能な適切なソリューションは何でしょうか?
ありがとう！