私は、AWS S3 に科学データをデータ レイクの開始用の生データとして保存する必要があるプロジェクトに取り組んでいます。アプリケーション データの JSON を計画し、S3 メタデータを使用してアプリケーション メタデータ (JSON スキーマ) を保持し、メタデータを処理します。現時点では、S3 サイトで AWS クラウドから利用できる唯一のサービスです。
クライアントは、生データをファイルとして取得できるパブリッシュ環境を望んでいます。カスタム カタログとセキュリティ インフラストラクチャの構築は避けたいと考えています。
AWS S3 に直接接続する Apache Atlas について何も表示されません。しかし、AWS S3 の上に Apache Hive を配置し、その上に Apache Atlas と Ranger を配置することができます。しかし、これが S3 から生データを公開できる方法なのか、それとも Hive がより処理環境であるため機能するのかはわかりません。
AWS S3 上で Apache Atlas と Ranger を直接使用することは可能ですか?