問題タブ [aws-glue-data-catalog]

経由でデータをデータ カタログにクロールする作業を行っていますaws glue。しかし、データベースの定義について少し混乱しています。aws docで見つけたものから、A database in the AWS Glue Data Catalog is a container that holds tables. You use databases to organize your tables into separate categories.. データベースには正確に何が含まれているのだろうか。他のデータ ソースからすべてのデータを読み込み、カタログを作成しますか? それとも、カタログのみが含まれていますか? グルー データベースのテーブルのサイズを知るにはどうすればよいですか? そして、どのタイプのデータベースを使用しますnosqlかrds?

たとえば、データをロードするクローラーをs3作成し、 でカタログ テーブルを作成しますglue。glueテーブルには からのすべてのデータが含まれていますs3 bucketか? バケットを削除するs3と、クローラーによって作成されたカタログ テーブルに対して実行されるglueの他のジョブに影響がありますか?

カタログ テーブルにデータ スキーマのみが含まれている場合、データ ソースが変更された場合にデータを更新し続けるにはどうすればよいですか?

私はAWS GlueデータETLを行うために使用しています。glue crawlerAWS で実行統計を監視する方法が見つかりませんでした。このドキュメントのようなグルージョブを監視する方法を知っています: https://docs.aws.amazon.com/glue/latest/dg/monitoring-awsglue-with-cloudwatch-metrics.html。glue crawlerしかし、実行を確認する同様の方法があるのだろうか？

クローラーのログを確認できますが、Cloudwatchあまり読みにくいです。指定された期間中に何回の呼び出しが発生したかを把握するのは困難です。