Spark の 2 つのタイプのパーティションの違いは何ですか?
例: テキスト ファイル toto.csv をディスクから Spark クラスターに読み込みます。
val text = sc.textFile("toto.csv", 100)
=>「ルール」なしでファイルを100個のフラグメントに分割しました
その後、私が行う場合
val partion = text.partitionBy(new HashPartitioner(100))
=>ファイルをキーで100個のパーティションに「分割」しました
確認または提案に感謝します