3

マシン タイプを指定できるオプションがあることに気付きました。デフォルトのマシン タイプを上書きするかどうかを決定するために使用する基準は何ですか?

いくつかの実験では、インスタンスが小さいほどスループットが向上することがわかりましたが、一方で、少数のデフォルト インスタンスの代わりに多数の小さいインスタンスを使用すると、ジョブでより多くの「システム」障害が発生する傾向があります。

ありがとう、G

4

1 に答える 1

4

Dataflow は最終的にマシンタイプを最適化します。それまでの間、マシンの種類を変更する必要があると思われるいくつかのシナリオを次に示します。

  • ParDO 操作に大量のメモリが必要な場合は、マシン タイプを Google Compute Engine が提供する高メモリ マシンのいずれかに変更することをお勧めします。

  • コストと速度の最適化。CPU 使用率が 100% 未満の場合は、CPU の少ないマシンを選択することで、おそらくジョブのコストを削減できます。または、マシンの数を増やしてマシンあたりの CPU の数を減らすと (CPU の合計がほぼ一定に保たれるため)、ジョブの実行速度を上げてもコストはほぼ同じになります。

発生しているシステム障害の種類について詳しく教えてください。大規模な障害 (VM の中断など) は確率的なものであるため、マシンの数が増えるにつれて、障害の絶対数が増えることが予想されます。ただし、VM の中断などの障害はかなりまれであるため、桁違いに多くの VM を使用していない限り、増加に気づいたら驚かれることでしょう。

一方で、より多くのマシンを使用することで並列処理が増加するため、リソースの競合が原因で、より多くの障害が発生する可能性があります。その場合は、対処できるかどうかを確認するために、それについて知りたいと思います.

于 2015-01-07T13:38:27.553 に答える