問題タブ [boto]

Pythonスクリプト内で作業できるようにするには？

次のようにbotoをインストールしました： python setup.py install; 次に、シェルで Python スクリプト (boto からモジュールをインポートする) を起動すると、次のようなエラーが表示されます: ImportError: no module named boto.s3.connection

問題を解決するにはどうすればよいですか？

boto を使用してバケット内の S3 キーの名前を変更するにはどうすればよいですか?

カスタム フィールド「ファイルのダウンロード」を使用して ModelAdmin を拡張しました。これは、次のような Django プロジェクトの URL へのリンクです。

そこで、S3 バケットに保存されているファイルを提供したいと考えています。バケット内のファイルは一般公開されておらず、ユーザーは直接アクセスできない場合があります。今、私はしたいです

• ファイルをサーバー メモリにロードする必要がないようにします (これらはマルチ GB ファイルです)。
• サーバー上に一時ファイルを置かないようにする

理想的な解決策は、Django が S3 チャンクをユーザーに直接ストリーミングするプロキシとして機能するようにすることです。boto を使用していますが、チャンクをストリーミングする可能性が見つかりませんでした。何か案は？

ありがとう。

Windows 7、Python 2.6.4、および最新バージョンの Eclipse を実行しています。boto ライブラリ ( http://code.google.com/p/boto/ ) をダウンロードして python setup.py install を実行すると、C:\Python26\Lib\site に boto-1.9b-py2.6.egg が作成されました。 -パッケージ。

クラスのインポート (たとえば、「from boto.sqs.connection import SQSConnection」を実行) は、python コマンド ライン ツールから正常に機能します。しかし、コマンドラインで使用しているのと同じ python インタープリターを使用しているにもかかわらず、Eclipse は boto を検出しません。ライブラリを外部ソース フォルダーとして追加しましたが、それも機能しませんでした。boto ライブラリを Eclipse に正しくインポートするにはどうすればよいですか?

ありがとう。

基本的にgzipされたデータベースダンプであるファイルをS3バケットに送信しています。それらのキーは人間が読める日付 (「2010-05-04.dump」) であり、それに加えて、メタデータ フィールドをダンプの UNIX 時間に設定しています。

バケットから最新のダンプを取得するスクリプトを作成したいと考えています。つまり、最大の UNIX 時間メタデータ値を持つキーが必要です。これは Amazon S3 で可能ですか、それとも S3 の本来の機能ではないのでしょうか?

コマンド ライン ツールawsと python ライブラリの両方を使用しています。boto

Python Boto ライブラリを使用して、Amazon S3 にデータベース バックアップのコピーを保存しています。しかし、Web サーバーがハッキングされた場合、アップロードに必要な資格情報を使用してそれらのバックアップが削除されるのではないかと心配しています。

わかりました。別の Amazon メールアドレスにアクセス許可を付与できることはわかっているので、アップロード後に元のユーザーの書き込みアクセスを削除することを想像できますが、このシナリオでは、2 つのアカウントと 2 セットの請求書を渡すことになります。毎月のアカウント。

複数の請求書を必要とせず、バックアップを Web サーバーから完全に独立した状態に保つソリューションはありますか? ここでのベストプラクティスは何ですか?

既存のインスタンスの平均 CPU 負荷が高くなるたびに、自動スケーリングを使用して新しい EC2 インスタンスを作成しようとしています。状況は次のとおりです。

• この boto スクリプトを使用して自動スケーリングを設定しています (キーとイメージ名は削除されています)。http://balti.ukcod.org.uk/~francis/tmp/start_scaling_ptdaemon.nokeys.py

• min_size を 2 に設定すると、AutoScalingGroup は最初の 2 つのインスタンスを正しく作成し、どちらも正常に動作します。これは、LaunchConfiguration が正しいことを意味していると確信しています。

• これら 2 つのインスタンスの両方で負荷が 100% 近くまで上昇しても、何も起こりません。

いくつかの質問/考え:

• これをデバッグする方法はありますか? 自動スケーリングが行っていることの詳細を教えてくれる、または行っていると思われる API 呼び出しが見つかりません。それが何をしているのか、または正しく設定されているかどうかについてフィードバックを提供するツールはありますか?

• Autoscaling が AWS コンソールに表示されたら最高です。

• EU 西部のアベイラビリティ ゾーンを使用しています。自動スケーリングで問題が発生する理由はありますか?

• トリガーを作成するときの「ディメンション」パラメーターのドキュメントはありますか? 私はそれが何を意味するのか分かりません。そのフィールドを例からコピーしただけです。それが何を意味するのか、または可能な値が何であるかを説明せずに、それが「次元」であると自己参照的に言っていない、それに関するドキュメントを見つけることができません。

助けてくれてありがとう！

次の方法でSimpleDBを使用しようとしています。

いつでも 48 時間分のデータを simpledb に保持し、さまざまな目的でクエリを実行したいと考えています。各ドメインには 1 時間分のデータがあるため、simpledb には常に 48 のドメインが存在します。新しいデータは常にアップロードされるため、最も古いドメインを削除し、新しい時間ごとに新しいドメインを作成します。

各ドメインのサイズは約 50 MB で、すべてのドメインの合計サイズは約 2.2 GB です。ドメイン内のアイテムには、次のタイプの属性
識別子があります - 長さ約 50 文字 -- アイテムごとに 1つの
タイムスタンプ - タイムスタンプ値 -- アイテムごとに 1
serial_n_data - 500 ～ 1000 バイトのデータ -- アイテムごとに 200

データのアップロードとクエリに python boto ライブラリを使用しています。ドメインで約 200 の属性を持つ 1 アイテム/秒を送信します。

このデータのアプリケーションの 1 つとして、48 のドメインすべてからすべてのデータを取得する必要があります。クエリは、すべてのドメインに対して「SELECT * FROM domain」のようになります。8 つのスレッドを使用してデータのクエリを実行し、各スレッドがいくつかのドメインを担当します。
例: ドメイン 1-6 スレッド 1
ドメイン 7-12 スレッド 2 など

データ全体を取得するのに 13 分近くかかります。これには boto の select メソッドを使用しています。これよりもはるかに高速なパフォーマンスが必要です。クエリ処理を高速化するための提案はありますか? 物事をスピードアップできる、使用できる他の言語はありますか?

ユーザーがローカルディレクトリに同期する必要がある何百もの画像ファイルを Amazon S3 に配置しました。ストレージスペースと帯域幅を節約するために、S3 に保存されているファイルを圧縮します。

ユーザー側には、5 分ごとに実行される python スクリプトがあり、現在のファイル リストを取得し、新しいファイルや更新されたファイルをダウンロードします。

私の質問は、ダウンロードする新しいものまたは変更されたものを判断する最良の方法は何ですか?

現在、非圧縮ファイルの MD5 値を含む圧縮ファイルに追加するヘッダーを追加しています...

次のようなファイルから始めます。

それを (7zip で) 圧縮し、S3 に置きます (Python/Boto で):

問題は、S3 から x-amz-meta-uncompressedmd5 ヘッダーを含むファイルの大きなリストを取得できないことです (数百/数千のファイルでは SLOW)。

私たちの最も実用的な解決策は、ユーザーにファイルの完全なリストを取得させ (余分なヘッダーを除く)、ローカルに存在しないファイルをダウンロードさせることです。ローカルに存在する場合は、追加の API 呼び出しを実行して完全なヘッダーを取得し、ローカルの MD5 チェックサムを x-amz-meta-uncompressedmd5 と比較します。

もっと良い方法があるに違いないと思っています。