google-dataproc クラスタから pub-sub などの python google cloud api を使用/インストールする正しい方法は何ですか? たとえば、クラスターで zeppelin/pyspark を使用していて、pub-sub API を使用したい場合、どのように準備すればよいですか?
デフォルトのクラスタ プロビジョニング中に何がインストールされ、何がインストールされていないのか、Google クラウド API 用の Python ライブラリをインストールする必要があるかどうか、またはその方法が不明です。
さらに、セットアップにはスコープ/認証が必要な場合があることを認識しています。明確にするために、API をローカルで使用することはできますが、クラスターから API にアクセスできるようにする最もクリーンな方法が何であるかはわかりません。不要な手順は実行したくありません。