問題タブ [s3fs]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票する
1 に答える
1423 参照

amazon-ec2 - ディレクトリに EC2 の s3fs マウントがあるかどうかを確認する方法は?

EC2 インスタンスが起動するたびに実行されるスクリプトを作成しようとしています。現在、s3 バケットをマウントするために使用されるディレクトリがあります。/s3mnt

スクリプトでは、そのディレクトリにマウントがあるかどうかを確認し、特定の一連のアクションを実行したいと考えています。マウントがない場合は、マウントを作成して (このためのコマンドを知っています)、上記と同じ一連のアクションを実行します。

0 投票する
1 に答える
810 参照

python - s3fs を使用したログ ファイルの更新

s3fs を使用して「フォルダー」をマウントすると、ログ ファイルにアクセスできます。

Python スクリプトを使用して新しい行を追加するたびに、ファイル全体がアップロードされますか?

0 投票する
1 に答える
1447 参照

unix - S3FS: 特定のユーザーまたはグループに許可を与える

S3FS を使用して s3 バケットでファイルシステムをマウントしたいと考えています。

特定のグループの別のユーザーがマウントされたフォルダーにアクセスでき、読み取り/書き込みアクセスができるようにしたい。

「allow_other」オプションを使用すると、すべてのユーザーがマウントされたフォルダーに完全にアクセスできます。例えば:

ただし、特定のグループのユーザーのみがマウントされたフォルダーにアクセスできる必要があります(すべてのユーザーではありません)。

出来ますか?

0 投票する
1 に答える
1719 参照

amazon-web-services - マウントされた S3 バケットへの SFTP Chroot ユーザー

Amazon EC2 サーバーを SFTP サーバーとして使用しようとしています。ここで、サーバーに sftp するための認証済みユーザーを作成できます。s3fs を使用して、各ユーザーの場所 /mnt/buckets/{username} にあるサーバーに s3 バケットをマウントしました。/mnt/buckets/{username} ディレクトリへの読み取りと書き込みは、期待どおりに s3 で機能します。

私の sshd_config には次のものがあります。

SFTP を実行すると、次の応答が返されます

マウントされたバケットには、これらの権限があります。

Chroot ディレクトリを /mnt/buckets に変更すると、sftp サーバーにログインできるだけでなく、s3 マウントされたバケットに読み書きできるようになりました

マウントされた s3 バケットにユーザーを chroot できますか?

(また、すでにこの機能を備えたツールがある場合は、それらについても知りたいと思います)

0 投票する
2 に答える
311 参照

amazon-web-services - aws s3 と glacier の両方のデータを保持する方法

AWS s3 バケットのバックアップを保持したいと考えています。Glacier を使用すると、バケットからファイルがアーカイブされ、Glacier に移動されますが、s3 からもファイルが削除されます。s3 からファイルを削除したくありません。1 つのオプションは、EBS ボリュームを試すことです。s3fs で AWS s3 バケットをマウントし、EBS ボリュームにコピーできます。もう 1 つの方法は、クローンとして機能する新しいバケットに既存のバケットを rsync することです。他の方法はありますか?

0 投票する
2 に答える
1211 参照

amazon-web-services - passwd ファイルを使用する代わりに AWS IAM ロールを使用して AWS S3 バケットをマウントする

s3fs-fuseを使用して AWS S3 バケットをファイルシステムとしてマウントしています。AWS アクセス キー ID と AWS シークレット アクセス キーを含むファイルが必要です。このファイルを使用したアクセスを回避するにはどうすればよいですか? 代わりに AWS IAM ロールを使用しますか?

0 投票する
1 に答える
632 参照

amazon-s3 - Amazon S3 (S3FS) Owncloud アクセス許可

バケットをマウントしましたが、すべて正常に動作しています。私のFstabはこんな感じです

しかし、Owncloud のホームページにアクセスすると、ディレクトリに chmod 0770 を設定する必要があると表示されます。しかし、S3fs マウントは chmod できません。

root のみがマウントにアクセスできるため、allow_other を削除しても機能しません。

0 投票する
2 に答える
590 参照

file - データセンターの単一パーティションにある数十億のファイルを s3 に移行する最良の方法は?

AWS への 10G 直接接続回線を備えたデータセンターがあります。データ・センターには、単一のトップ・レベル・ディレクトリーに 15 億のイメージ (それぞれ約 50k) を含む GPFS ファイル・システムを備えた IBM XIV ストレージ・インフラストラクチャーがあります。これがどれほどばかげているかについて一日中議論することもできますが、これらすべてのファイルを s3 バケットに移動するという私のタスクについてアドバイスを求めたいと思います。

データセンターは物理的にロックダウンされており、オンプレミスの物理的なクリアランスを取得するプロセスには 6 か月かかるため、物理的な輸送ソリューションを使用できません。

このファイル移行を行う最善の方法は何ですか?

これまでのところ、AWS で EC2 Linux サーバーを構築し、s3fs-fuse ( https://github.com/s3fs-fuse/s3fs-fuse/wiki/Fuse-Over-Amazon )を使用して s3 宛先バケットをマウントすることをお勧めします。 EC2サーバー上のファイルシステムとして、GPFSマウントを保持するデータセンターサーバーとEC2サーバー間でnetcat + tarコマンドを実行します。別の投稿でこの提案を見つけました:Destination box: nc -l -p 2342 | tar -C /target/dir -xzf - ソース ボックス: tar -cz /source/dir | nc Target_Box 2342

1 か月かかる作業に着手する前に、これを行うためのより良い方法があるかどうかを確認したかったのです。

0 投票する
0 に答える
250 参照

fuse - バキュラバックアップを使用したs3fs - トランスポートエンドが接続されていません

私は s3fs 1.7.3 と fuse 2.9.5 を使用して、バックアップ システム bacula のバックアップ テープを保存しています。

私が見つけたのは、baculaが1つのサーバーのバックアップを完了すると、次のサーバーのバックアップに移る前に、baculaの仮想バックアップテープがマウントされているディレクトリでS3FSエラーが発生することです:

/etc/fstab で次の行を使用し、「mount -a」コマンドを使用して S3FS 共有をマウントしました。

「umount -l /backup/tapes」コマンドを使用して「/backup/tapes」ディレクトリをアンマウントし、「mount -a」コマンドを使用して fstab ファイルから再マウントできます。そして、bacula CLI に移動してディレクトリを再度マウントすると、次のホストに移動して、そのホストに戻ることができます。ただし、その後ホストに到達するまでに、「トランスポート接続」エラーが再発します。

バックアップが必要な 30 台のホストすべてに対して、この作業を続けたくありません。夜間のバックアップが介入なしで行われるように、s3fs の接続を維持するにはどうすればよいですか?

ありがとう