問題タブ [s3fs]

EC2 インスタンスが起動するたびに実行されるスクリプトを作成しようとしています。現在、s3 バケットをマウントするために使用されるディレクトリがあります。/s3mnt

スクリプトでは、そのディレクトリにマウントがあるかどうかを確認し、特定の一連のアクションを実行したいと考えています。マウントがない場合は、マウントを作成して (このためのコマンドを知っています)、上記と同じ一連のアクションを実行します。

s3fs を使用して「フォルダー」をマウントすると、ログ ファイルにアクセスできます。

Python スクリプトを使用して新しい行を追加するたびに、ファイル全体がアップロードされますか?

S3FS を使用して s3 バケットでファイルシステムをマウントしたいと考えています。

特定のグループの別のユーザーがマウントされたフォルダーにアクセスでき、読み取り/書き込みアクセスができるようにしたい。

「allow_other」オプションを使用すると、すべてのユーザーがマウントされたフォルダーに完全にアクセスできます。例えば：

ただし、特定のグループのユーザーのみがマウントされたフォルダーにアクセスできる必要があります(すべてのユーザーではありません)。

出来ますか？

Amazon EC2 サーバーを SFTP サーバーとして使用しようとしています。ここで、サーバーに sftp するための認証済みユーザーを作成できます。s3fs を使用して、各ユーザーの場所 /mnt/buckets/{username} にあるサーバーに s3 バケットをマウントしました。/mnt/buckets/{username} ディレクトリへの読み取りと書き込みは、期待どおりに s3 で機能します。

私の sshd_config には次のものがあります。

SFTP を実行すると、次の応答が返されます

マウントされたバケットには、これらの権限があります。

Chroot ディレクトリを /mnt/buckets に変更すると、sftp サーバーにログインできるだけでなく、s3 マウントされたバケットに読み書きできるようになりました

マウントされた s3 バケットにユーザーを chroot できますか?

（また、すでにこの機能を備えたツールがある場合は、それらについても知りたいと思います）

AWS s3 バケットのバックアップを保持したいと考えています。Glacier を使用すると、バケットからファイルがアーカイブされ、Glacier に移動されますが、s3 からもファイルが削除されます。s3 からファイルを削除したくありません。1 つのオプションは、EBS ボリュームを試すことです。s3fs で AWS s3 バケットをマウントし、EBS ボリュームにコピーできます。もう 1 つの方法は、クローンとして機能する新しいバケットに既存のバケットを rsync することです。他の方法はありますか？

s3fs-fuseを使用して AWS S3 バケットをファイルシステムとしてマウントしています。AWS アクセス キー ID と AWS シークレット アクセス キーを含むファイルが必要です。このファイルを使用したアクセスを回避するにはどうすればよいですか? 代わりに AWS IAM ロールを使用しますか?

バケットをマウントしましたが、すべて正常に動作しています。私のFstabはこんな感じです

しかし、Owncloud のホームページにアクセスすると、ディレクトリに chmod 0770 を設定する必要があると表示されます。しかし、S3fs マウントは chmod できません。

root のみがマウントにアクセスできるため、allow_other を削除しても機能しません。

AWS への 10G 直接接続回線を備えたデータセンターがあります。データ・センターには、単一のトップ・レベル・ディレクトリーに 15 億のイメージ (それぞれ約 50k) を含む GPFS ファイル・システムを備えた IBM XIV ストレージ・インフラストラクチャーがあります。これがどれほどばかげているかについて一日中議論することもできますが、これらすべてのファイルを s3 バケットに移動するという私のタスクについてアドバイスを求めたいと思います。

データセンターは物理的にロックダウンされており、オンプレミスの物理的なクリアランスを取得するプロセスには 6 か月かかるため、物理的な輸送ソリューションを使用できません。

このファイル移行を行う最善の方法は何ですか?

これまでのところ、AWS で EC2 Linux サーバーを構築し、s3fs-fuse ( https://github.com/s3fs-fuse/s3fs-fuse/wiki/Fuse-Over-Amazon )を使用して s3 宛先バケットをマウントすることをお勧めします。 EC2サーバー上のファイルシステムとして、GPFSマウントを保持するデータセンターサーバーとEC2サーバー間でnetcat + tarコマンドを実行します。別の投稿でこの提案を見つけました:Destination box: nc -l -p 2342 | tar -C /target/dir -xzf - ソース ボックス: tar -cz /source/dir | nc Target_Box 2342

1 か月かかる作業に着手する前に、これを行うためのより良い方法があるかどうかを確認したかったのです。

私は s3fs 1.7.3 と fuse 2.9.5 を使用して、バックアップ システム bacula のバックアップ テープを保存しています。

私が見つけたのは、baculaが1つのサーバーのバックアップを完了すると、次のサーバーのバックアップに移る前に、baculaの仮想バックアップテープがマウントされているディレクトリでS3FSエラーが発生することです:

/etc/fstab で次の行を使用し、「mount -a」コマンドを使用して S3FS 共有をマウントしました。

「umount -l /backup/tapes」コマンドを使用して「/backup/tapes」ディレクトリをアンマウントし、「mount -a」コマンドを使用して fstab ファイルから再マウントできます。そして、bacula CLI に移動してディレクトリを再度マウントすると、次のホストに移動して、そのホストに戻ることができます。ただし、その後ホストに到達するまでに、「トランスポート接続」エラーが再発します。

バックアップが必要な 30 台のホストすべてに対して、この作業を続けたくありません。夜間のバックアップが介入なしで行われるように、s3fs の接続を維持するにはどうすればよいですか?

ありがとう