問題タブ [s3fs]

誰かがAmazonS3のs3fsユーティリティを使用しましたか？

大きなPDFドキュメントをオンザフライで生成するスクリプトがいくつかあります。ほとんどは10MB以上の範囲ですが、おそらく2GBになるスクリプトもあります。

このような大きなファイルをs3fsドライブに直接生成する危険はありますか？

ありがとう、ブライアン

Fedora 14マシンにs3fs（http://code.google.com/p/s3fs/）を正常にコンパイルしてインストールしました。ガイドで指定されているように、パスワードのクレデンシャルを/etc/に含めました。私が走るとき：

sudo / usr / bin / s3fsbucket_name / mnt /bucket_name /

正常に実行されます。（注：バケット名は/ mnt /のフォルダー名と同じです）。/ mnt /でlsを実行すると、「ls：バケット名にアクセスできません：アクセスが拒否されました」というエラーが表示されます。私が走るとき

sudo chmod 640 / mnt /bucket_name

「chmod： `bucket_name'のパーミッションの変更：入力/出力エラー」が発生します。マシンを再起動すると、通常は/ mnt /bucket_nameフォルダーにアクセスできますが、s3バケットにマップされていません。

それで、基本的に私は2つの質問があります。1）フォルダ（/ mnt /bucket_name）をs3バケットにマウントした後、通常どおりにアクセスするにはどうすればよいですか。2）マシンを再起動した後も、フォルダをマウントしたままにするにはどうすればよいですか。

よろしく

近いうちにアプリケーションを立ち上げる予定です。このアプリケーションでは、ユーザーがファイル (画像) をアップロードして、他のメンバーが閲覧できるようにする必要があります。S3 は比較的安価で、自動的にスケーリングされるため、S3 のアイデアが気に入っています。

私の問題は、ユーザーに画像を S3 にアップロードさせる方法です。いくつかのオプションがあるようです。

1- PHP REST API を使用します。唯一の問題は、同じ画像のさまざまな縮尺のバージョン (つまり、サムネイル) を同時にアップロードし、それらを s3 に直接アップロードすることができないことです (この方法では、一度に 1 つの画像に対してのみ機能します)。全体的に、柔軟性が低いようです。

http://net.tutsplus.com/tutorials/php/how-to-use-amazon-s3-php-to-dynamically-store-and-manage-files-with-ease/

2- もう 1 つのオプションは、s3fs を使用して S3 バケットをマウントすることです。次に、NFS の場合と同様に、プログラムでイメージをバケットに移動します。私が読んだ限りでは、S3 のマウントの信頼性に疑問を持っている人もいるようです。これは本当ですか？

http://www.google.com/search?sourceid=chrome&ie=UTF-8&q=fuse+over+amazon

信頼性と速度を最大化するには、どの方法が適していますか?

EBS は考慮すべきものでしょうか? EC2 インスタンスを使用するのではなく、専用のボックスを使用したいのですが...

私は自分のDebianコンピュータと1台のOSXラップトップで次の動作をしようとしています。

私が欲しいのは、AmazonS3をバックエンドとして使用するある種のバージョニングファイルシステムです。

私が考えていたのは、s3fs（FUSEを使用）を使用してバケットをマウントし、ファイルを書き込むたびに新しいコミットを行うGITを使用するファイルシステムを作成することです（x日までの完全なバージョン履歴が必要です）。マウントされたフォルダには、ファイルの最新バージョンが表示されます。解決方法がわからない問題の1つは（経験不足のためだと思いますが）、ファイルをローカルフォルダーと同期させたいということです。もちろん、すべてのファイルをダウンロードすることもできますが、それは帯域幅にやさしいものではありません。

もう1つの問題は、現在のバージョンのs3fsがMacFUSEで動作しないように見えることです。

さらに、おそらく起こらないことですが、2台のコンピューターが同時にファイルに書き込んだ場合にファイルが破損するのを防ぎたいと思います。私が正しく理解していれば、gitはある種のファイルロック自体を実装しており、オペレーティングシステムのファイルロックに依存していません。

これを機能させるための概要は何でしょうか？これらの方法で保存したいファイルは、.texファイルとベクター画像だけです。

（ドロップボックスのような）ソリューションが存在することは知っていますが、それがクローズドソースであることはあまり好きではありません。

s3fs を使用して、Amazon s3 ドライブをファイル システムにマウントしています。PHP の rename() 関数を使用してローカル ファイルをマウントされたドライブに移動しても、何も起こりません。rename() はこれに使用しても問題ありませんか?

上記のコードは私にとってはうまくいきません。ファイルが表示されるので、ドライブはマウントされているように見えます。

これはパーミッションの問題であることが判明しました。s3fs の「allow_other」オプションで修正しましたが、rename() の使用中に次の php エラーが発生しました。

私の会社は現在、AWSのS3fsとEc2を使用しています。s3バケットをEc2インスタンスにマウントしましたが、しばらくすると（たとえば、1週間）、一部のバケットが自動的にマウント解除され、サーバーインスタンスがほとんど使用できなくなります。エラーは「トランスポートエンドポイントが接続されていません」です。

S3fsバージョン：ソースからの1.61ビルド

FUSEバージョン：2.84.1ソースからビルド

OS：Linux、Ubuntu 11.04

これらの問題を防止する（または少なくとも検出する）ためのある種の安全なメカニズムはありますか？

このようなばかげた質問をすることを前もってお詫びしますが、s3fs を使用してファイル システムに s3 バケットをマウントするにはどうすればよいですか?

https://github.com/s3fs-fuse/s3fs-fuse/wiki/Fuse-Over-Amazonにある簡単な手順を使用しました。

私はそれをすべてインストールし、資格情報を /etc/passwd-s3fs ファイルに入れ、次のようにマウントしました。

s3fs myBucket /mnt/... -o use_cache=/tmp

しかし、(「ls」コマンドを使用して) ファイルを表示しようとすると、作成した小さな Java プログラムでファイルにアクセスしようとすると、ディレクトリが空になります。

私は何を間違っていますか？

注：Linuxサーバーで実行しています。また、Windows 7 で実行されている vmware でホストされているローカルの Ubuntu ゲストでも試しました。

ありがとう！

s3fs を使用してバケットを正常にマウントしましたが、PHP ライブラリを使用して作成したオブジェクト (サブディレクトリ内のファイル) が表示されません。ルート レベルにファイルを追加すると、それがわかります。ルート レベルでファイルを作成すると、それがわかります。ディレクトリを作成すると、その中にアイテムを作成できますが、以前に作成したディレクトリとオブジェクトが表示されません。

以前に作成したアイテムを表示するにはどうすればよいですか? 私は本当に EBS を作成してマウントし、S3 からこれを取り出したいと思っています。このようにS3を取り付けると、それが簡単になると思っていました。

オブジェクトを S3 から EBS に移動しようとしているだけなので、s3sync も試しています。運がない。s3sync がディレクトリを作成しようとすると、奇妙なものが作成されました...

ヘルプ！！！

助けてくれてありがとう。

トム

Amazon クラウド側でデータをバックアップするための FUSE ベースのファイル システムである s3fs に取り組もうとしています。私の実装では、crypto++ で AES:CBC を使用してファイル内のデータを暗号化および復号化する 2 つの関数を開発しました。私の問題は、s3fs の復号化関数を使用して txt ファイル X を復号化すると、X の同じ場所で結果が常に間違っているが、結果が異なることです。ただし、s3fs ではなく、別のテスト プログラムを使用して同じ関数を呼び出してファイル X を復号化すると、常に正しい結果が得られます。私のシステムは、カーネル 2.6.32-35、FUSE 2.8.6 の Ubuntu です。C++を使用して実装しています。ありがとう。

PS: 暗号化機能は、s3fs プログラムと他のテスト プログラムの両方で機能します。これは、同じソース ファイルの暗号化出力が同じであるためです。s3fs プログラムの復号化関数のみが間違った出力を生成します。

S3 を使用して、サーバー (Ubuntu サーバー) を実行している EC2 インスタンスからデータをバックアップし始めました。s3fsを使用してこれを機能させることができました。フォルダー /mnt/s3 を作成し、そのフォルダーにバケットをマウントしました。これまでのところ、すべてが正常に機能しているようです。バケットの内容を確認して変更したり、マウントおよびアンマウントしたりできます。ただし、バケットをマウントした後、(少なくとも私にとっては)ちょっと奇妙なことに気付きました (「ls -la」)。 /mnt/ でこれが返されました:

だから私は、何がこの動作を引き起こすのか疑問に思っていました. 誰がこれを引き起こすのかについて考えを持っていますか? 私が言ったように、すべてが機能しているようです。私はこの現象に興味があり、心配する必要があるかどうか知りたいです.

ところで、バケットをアンマウントすると、フォルダの詳細が再び正常になります。

前もって感謝します。