関数で作成されたキーの数を見つける Spark アプリケーションを作成しようとしていmap
ます。それを可能にする機能が見つかりませんでした。
私が考えた 1 つの方法は、reduce
関数のアキュムレータ変数に 1 を追加するアキュムレータを使用することです。私の考えは、アキュムレータ変数がノード間でカウンターとして共有されるという仮定に基づいています。
ガイドしてください。
関数で作成されたキーの数を見つける Spark アプリケーションを作成しようとしていmap
ます。それを可能にする機能が見つかりませんでした。
私が考えた 1 つの方法は、reduce
関数のアキュムレータ変数に 1 を追加するアキュムレータを使用することです。私の考えは、アキュムレータ変数がノード間でカウンターとして共有されるという仮定に基づいています。
ガイドしてください。