apache-spark - DAG は RDD の内部でどのように機能しますか?

Question

Sparkの研究論文は、従来の Hadoop MapReduce に代わる新しい分散プログラミング モデルを規定しており、多くの場合、特に機械学習での簡素化と大幅なパフォーマンスの向上を主張しています。しかし、この論文では、internal mechanicsオンResilient Distributed Datasetsを明らかにするための資料が不足しているようです。Directed Acyclic Graph

ソースコードを調べて学ぶべきでしょうか？

Answer 1

次の 3 つのコンポーネントを介してデータの最初Spark 1.4の視覚化が追加され、 の明確なグラフィカル表現も提供されますDAG。

• Spark イベントのタイムライン ビュー

• 実行 DAG

• Spark ストリーミング統計の視覚化

詳細については、リンクを参照してください。