問題タブ [gcp]

良い一日、

現在、アクセス ログとアクティビティ ログの両方が有効になっており、ログを BQ データ セットにプッシュしています。追加のメタデータ タグで BigQuery ジョブまたは個々のクエリにタグを付ける方法はありますか? Teradata には、クエリ バンディングと呼ばれるこのような機能があり、キーと値のペアのグループを送信すると、設定方法に応じて単一のクエリまたはセッションに結び付けられます。

ここで想定している使用例は、これらのタグを使用して監査ログから特定の情報を集約できるようにすることです。たとえば、複数の静的データ セットに対して複数回実行する予定のベンチマーク プロセスを構築しようとしています。特定のクエリに何らかのタグを付けて、同じプロセスのさまざまな実行に関するメトリックを収集できるだけでなく、さまざまなタグを使用してさまざまなレベルでこれを結び付けることができれば便利です。

分析したい場合は、次のようなクエリを実行できます。

また

最近、Google コンピューティング エンジンのインスタンスをすでに稼働させています。

CPU使用率などを監視するためにGoogle Cloudスタックドライバーを調査しました。

テスト用に、Compute Engine インスタンスの 1 つに Stackdriver エージェントをインストールしました。ダッシュボードで新しいチャートを作成することを検討し、さまざまな指標を試しました。

しかし、インスタンスのディスク使用量を示すメトリックが見つかりませんでした。

はい、カスタム指標をポンピングするために Stackdriver エージェントでサポートされているプラ​​グインのリストがありますが、インスタンスのディスク使用量を測定する特定の指標は見つかりませんでした。

ポインタをください。

ありがとう

BigQuery のユースケースは少し特殊です。日付分割テーブルの使用を開始したいのですが、データは非常に結果的です。発生時に挿入されるのではなく、最終的にサーバーに提供されるときに挿入されます。場合によっては、データが挿入されるまでに数日または数か月かかることもあります。したがって、_PARTITION_LOAD_TIME 属性は役に立ちません。

私の質問は、_PARTITION_LOAD_TIME 引数のように機能し、日付パーティション テーブルの利点を維持する列を指定できる方法はありますか? これを手動でエミュレートし、それに応じて BigQuery を更新できれば、日付分割テーブルの使用を開始できます。

誰でもここで良い解決策を持っていますか?

master を localhost に設定すると、このコードは完璧に動作します。この問題は、2 つのワーカー ノードを持つクラスターで送信すると発生します。

すべてのマシンに同じバージョンの python とパッケージがあります。また、目的の python バージョン、つまり 3.5.1 を指すようにパスを設定しました。マスター ssh セッションで Spark ジョブを送信したとき。次のエラーが表示されます-

py4j.protocol.Py4JJavaError: z:org.apache.spark.api.python.PythonRDD.runJob の呼び出し中にエラーが発生しました。: org.apache.spark.SparkException: ステージの失敗によりジョブが中止されました: ステージ 2.0 のタスク 0 が 4 回失敗しました。最近の失敗: ステージ 2.0 でタスク 0.3 が失われました (TID 5、.c..internal): org.apache. spark.api.python.PythonException: トレースバック (最新の呼び出しが最後): ファイル "/hadoop/yarn/nm-local-dir/usercache//appcache/application_1469113139977_0011/container_1469113139977_0011_01_000004/pyspark.zip/pyspark/worker.py" 行98、メインコマンド = pickleSer._read_with_length(infile) ファイル "/hadoop/yarn/nm-local-dir/usercache//appcache/application_1469113139977_0011/container_1469113139977_0011_01_000004/pyspark.zip/pyspark/serializers.py"、164 行目、_length_read_with_length return self.loads(obj) ファイル "init .py"、25 行目、インポート numpy の ImportError: No module named 'numpy'

人々が自分のワーカー ノードにアクセスできない他の投稿を見ました。そうです。他のワーカー ノードでも同じメッセージが表示されます。環境設定が欠落しているかどうかわかりません。どんな助けでも大歓迎です。

複数の GCP (Google Cloud Platform) アカウントを持っており、あるアカウントから別のアカウントにイメージをコピーしたいと考えています。Linux VM をエクスポートおよびインポートするためのオプションが表示されますが、私のイメージは Windows です。