問題タブ [s3fs]

S3FS を使用する 1 つの EC2 インスタンスにボリュームとして S3 バケット マウントがあります。PHP を使用して、現在 20GB を超えるディレクトリ構造を作成しました。

S3FS がインスタンス メモリを使い果たし、アップロードが非常に遅いため、すべてのファイルを同じインスタンスにアタッチされた EBS に移動したいと考えています。

私は S3CMD を試しましたが、S3FS はディレクトリと同じ名前でサイズがゼロのオブジェクトをバケットに作成するため、いくつかの非互換性があります。

また、サイズがゼロのオブジェクトをスキップして構造を再帰的にコピーするスクリプトを作成してみました。

どれも機能しませんでした。

誰かがこれをやろうとしたことがありますか？よろしくお願いします。

s3 のファイルを ec2 インスタンスにプッシュしようとしています。

私がそうするとき：

エラーは発生しません。logsしかし、ディレクトリを調べようとしたとき。出力をまったく見ることができませんでした。

どこで間違いを犯していますか？s3fsコマンドによって生成されたログ ファイルはありますか? 私がそれらを見ることができるように？

前もって感謝します。

ASP.NET4.5でWebアプリケーションを開発しています。アプリケーションの一部には、画像をアップロードするオプションがユーザーに含まれています。画像はAmazonS3に保存されています。今のところ、私が選択する方法は、Amazon SDKを使用してイメージをS3のバケットにアップロードし、CloudFrontを介してサーバーすることです。問題は、 s3fsを使用する方が良いオプションかもしれないと思うということです。

S3バケットをフォルダーとしてマウントすると、ユーザーが写真をアップロードしたときに、画像がネットワーク経由でS3に転送されることを認識してアプリケーション操作を続行できるため、このプロセスが完了するまで待つ必要はありません。コードを続行します。したがって、私がしなければならないのは、画像のサーバーへのアップロードが完了するまで待って、コードを続行することだけです。

これがこれを行うのに良い方法かどうか知りたいです。画像がアップロードされるのを待つのは時間がかかる場合があり、すべての画像がアップロードされるまでユーザーが待たないようにします。これには時間がかかる場合があります。

画像アップロードの最良の実装のための提案はありますか？

Fuse（s3fs[またはs3fsrruby gem？]）を使用してAmazonS3バケットをマウントできることは知っています。

私のケースはHerokuに固有のものです。

Herokuのファイルシステムはスケーラビリティなどのために読み取り専用ですが、HerokuのファイルシステムにAmazon s3をマウントする方法はありますか？

私の場合、HerokuでRedmineを使用しており、Redmineの組み込みのgitリポジトリ管理を使用してコードレビューを問題にリンクしたいと考えています。Redmineは、リポジトリをローカルディレクトリに複製する必要があります。これは可能ですが、Herokuでは永続的ではありません。

RedmineにマウントされたS3バケットにgitリポジトリを維持してもらいたいです。これは可能ですか？可能だとしたら、それはどれくらい遅いでしょうか？これを達成するための他の選択肢はありますか？

Redhat と Fuse
2.4.8 S3FS バージョン 1.59

AWS オンライン管理コンソールから、S3 バケットのファイルを参照できます。
/s3 フォルダーにログイン (ssh) すると、アクセスできません。
また、コマンド: "/usr/bin/s3fs -o allow_other bucket /s3"
戻り値: s3fs: MOUNTPOINT にアクセスできません /s3: トランスポート エンドポイントが接続されていません

その理由は何ですか？どうすれば修正できますか？このフォルダをアンマウントしてから再度マウントする必要がありますか?

ありがとう ！

Redhat と Fuse
2.4.8 S3FS バージョン 1.59

加えて: s3fs とヒューズを使用する Amazon S3、トランスポート エンドポイントが接続されていない

状況を修正するスクリプトを作成したいと思います。スクリプトは、ディレクトリをアンマウントしてマウントします。使用する必要があるコマンドは次のとおりです:
fusermount -u /s3
/usr/bin/s3fs -o allow_other bucketname /s3

この状況に精通している人々にとって、私は何か他のことを心配する必要がありますか? それともこれで十分ですか？

S3 でバケットからビデオを表示する際に問題があります。EC2インスタンスを使用しています。バケットは s3fs 経由でフォルダーとしてマウントされます。大きなファイルを読み込もうとすると、ダウンロードを開始する前に一時停止します。この一時停止中に、EC2 へのファイルのダウンロード (キャッシュ) が表示されます。キャッシュされると、ブラウザでファイルのダウンロードが開始されます。s3fs を構成してキャッシュを無効にしようとしましたが、オプション -o use_cache="" が機能しません。私はs3fsliteを使用しようとしましたが、ユーザーに送信する前にキャッシュファイルでもあります。

キャッシュを無効にする方法は? EC2 で s3 バケットのようなフォルダーを使用するのに役立つ、より高速なソリューションがあるのではないでしょうか?

すでに尋ねられた次の質問を参照してください： s3 に 1億個のファイルを書き込み、EMRで開いているファイルが多すぎます

ここで処理されるデータのサイズは、少なくとも約4〜5TBです。正確には-gzip圧縮で300GB。

このステップで時間の経過とともにデータが集計されるため、入力のサイズは徐々に大きくなります。

たとえば、2012年12月までのログには次のものが含まれます。

このためには、ファイル名としてUDID（一意のデバイス識別子）を使用して個別のファイルを生成し、そのUDIDに属するレコードをファイル内でソートされた順序で生成する必要があります。

元：

2013年1月のログがある場合、このステップでは、古いデータ、このステップで以前の月に既に生成されたファイル、およびUDIDのデータを集約するための新しいログの両方を読み取ります。

元：

このステップでは、データをEBSボリュームに書き込み、後で使用できるようにそのままにしておくことを考えました。ただし、EBSボリュームには1TBの制限があります。参照されている質問ですでに述べたように、s3で直接ファイルを生成するか、HDFSで生成してからs3に移動することは、移動する必要のある小さなファイルが約1億個あるため、このユースケースでは実行可能なオプションではありません。また、s3distcpを使用しても、このような大量のファイルの移動は非常に遅くなります。

そこで、次にs3fsを試してみます。AmazonS3に支えられたFUSEベースのファイルシステムです。誰かがs3fsがどれほどスケーラブルであるかについて何か考えを持っていますか？1億個の小さなファイルを処理できるでしょうか？MRジョブで使用できるように、3〜5 TBのデータを1億ファイルに分散して、s3からローカルファイルシステムに移動するのにどのくらいの時間がかかりますか？また、データをs3に戻すのにどのくらいの時間がかかりますか？s3distcpの使用中に直面したのと同じ問題が発生しますか？

前もって感謝します ！

ヒューズを訴えるAmazons3サービスのマウントプロセスを理解するための質問がありました-s3fs、Amazon s3サービスバケットをマウントすると、データ全体がローカルシステムにコピーされますか、それともAmazon s3バケットのビューとして機能しますか？

私が知りたい理由は、たとえば、500 MBのストレージスペースを備えたシステムを入手した場合、約200 GBのデータを含むバケットをマウントできますか？それが単にビューとして機能する場合はそうすべきですが、データ全体がローカルにコピーされる場合は確かにそうではありません。

この点についてのガイダンスが必要です。

ありがとう。

ファイルのバックアップ サービスとして Amazon S3 を設定しようとしています。ubuntuのインストールにドライブとしてマウントしてサービスを使用したいのですが、s3fsプロジェクトはそれを可能にするはずです。しかし、私はそれでいくつかの問題を抱えています。ヒューズと s3fs のインストールに成功したと思います。ドライブをマウントしてもエラーは発生しません。ただし、ディレクトリに入って「ls」コマンドを発行しても、何も起こりません。次のようなコマンドでテスト ファイルを作成するとします。

ファイルは aws コンソールに表示されます。しかし、バケットに既に存在するファイルを表示することも、「cd」コマンドを使用してサブディレクトリに移動することもできません。プロジェクトの Google フォーラムで少しスニッフィングを行ったところ、ファイルまたはディレクトリが s3fs を使用して作成されていない限り、s3fs は s3 バケットの内容を表示できないことがわかったと思います。他の誰かがこの問題に遭遇しましたか? これは本当にこのプロジェクトが設計された方法ですか? これはバグですか？または、この問題を回避する方法はありますか?