問題タブ [aws-glue-data-catalog]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
python - AWS Glue 検索オプション
現在、AWS Glue Data Catalog を使用してデータベースを整理しています。接続を設定し、クローラーを送信して情報を収集すると、定式化されたメタデータを表示できました。
あると便利な機能の 1 つは、1 つの列名でデータ カタログ全体を検索できる機能です。たとえば、データ カタログに 5 つのテーブルがあり、そのうちの 1 つに "age" フィールドがあるとします。私はそのテーブルを見ることができるようになりたいです。
また、AWS Glue Data Catalog のテーブルにあるすべての列の「コメント」フィールドを検索できるかどうかも疑問に思っていました
助けていただければ幸いです。
amazon-web-services - Aws で terraform を使用して、Glue でテーブル名の正規表現を指定できますか?
aws_iam_policy_document次の Terraformデータ ソースを適用したいと思います。
したがって、次のようなテーブルでのみ Glue Delete Table を許可できますtable_name_454044243243が、次のようなテーブルは削除可能であってtable_name_blablablaはなりません。
しかし、利用可能な正規表現に関する情報が見つかりません。
aws-glue - 外部 REST API からのデータを使用する AWS Glue ジョブ
AWS Glue ETL ジョブが、S3 やその他の AWS 内部ソースではなく、外部 REST API から JSON データをプルするワークフローを作成しようとしています。それは可能ですか？誰かがそれをしますか？助けてください！
amazon-web-services - S3 バケットから AWS Glue に .tar ファイルをカタログ化する
AWS S3 バケットにファイル「v1.02_train.tar」(Lyft データセットhttps://level5.lyft.com/dataset/から) があります。AWS Glue データカタログに追加しようとしています。
AWS Glue クローラに .tar ファイルからスキーマを検出させるにはどうすればよいですか? ファイルを解凍するのをためらっています。これは、クローラーが各画像ファイルを個別にカタログ化して、何百万ものテーブルをデータ カタログに追加するためです。さらに、S3 バケットのサイズが大きくなり、ストレージのコストが高くなります。
この一連のファイルを最適にカタログ化する方法のアイデアはありますか?