1

以前に HDInsight の Windows バージョンを使用したことがあります。これには、Zeppelin のコア数とワーカー ノードあたりの RAM を設定できるタブがあります。

このチュートリアルに従って、Zeppelin を機能させました: https://azure.microsoft.com/en-us/documentation/articles/hdinsight-apache-spark-use-zeppelin-notebook/

Linux バージョンの HDInsight は Ambari を使用してリソースを管理しますが、Zeppelin の設定を変更する方法が見つからないようです。

  • Zeppelin は、左側のサービス リストで別のサービスとして選択することはできません。また、アクションで「サービスの追加」を選択しても追加できないようです。

  • オーバーライドを使用して Ambari で一般的な spark 構成を編集してから、ワーカー ノードを新しい構成グループに追加し、カスタム spark-defaults のコアと RAM の数を増やしてみました。(次に、[保存] をクリックして、影響を受けるすべてのサービスを再起動しました。)

  • を使用してスパーク設定を編集してみました

    vi /etc/spark/conf/spark-defaults.conf
    

ヘッドノード上にありましたが、それは Ambari によって検出されませんでした。

Zeppelin でのパフォーマンスは、毎回約 1000 ~ 1100 秒かかるクエリに対して同じままのようです。

4

1 に答える 1