問題タブ [boto]

完了後にジョブフローを終了せずに、botoを使用して待機中のAmazon EMRジョブフローにステップを追加するにはどうすればよいですか？

AmazonのElasticMapReduceでインタラクティブなジョブフローを作成し、いくつかのテーブルをロードしました。Botoを使用してジョブフローに新しいステップを渡すと、ジョブemr_conn.add_jobflow_steps(...)フローは、終了または失敗した後に終了します。

run_jobflowパラメータを使用してbotoでジョブフローを開始できることはわかってkeep_aliveいますが、すでに実行されているフローを操作したいと思います。

s3サーバーから1時間ごとに100個の最新ファイルをダウンロードする必要があります。

上記のコードはファイルのリストを作成しますが、ファイル名でリストするため、ファイルのアップロード時間には依存しませんか?

ファイル名はどうすることもできません。ランダムに付与されます。

ありがとう。

STS を使用して作成された連合ユーザーの正規ユーザー ID は存在しますか? boto を使用する場合、バケットにアクセス許可を付与するには正規のユーザー ID が必要です。

これが私のコードの簡単なツアーです：

1. boto の STS モジュール (「マスター」アカウントを使用) を使用して一時的な資格情報を正常に作成しました。

   • federated_user_arn
   • federated_user_id
   • pack_policy_size
   • アクセスキー
   • secret_key
   • session_token
   • 有効期限

2. 次に、boto を使用してバケットを作成します。

   バケット = self.s3_connection.create_bucket('%s_store' % (app_id))

3. アクセス許可を付与したいのですが、boto には次の 2 つの選択肢があります。

   add_email_grant(パーミッション, email_address, recursive=False, headers=None)

   add_user_grant(permission, user_id, recursive=False, headers=None, display_name=None)

フェデレーション ユーザーに電子メールが添付されていないため、最初の方法はオプションではありません。そのため、2 番目の方法を検討します。ここで、2 番目のパラメーター ("userid") は、"アクセス許可を付与する AWS アカウントに関連付けられた正規ユーザー ID" になります。しかし、連合ユーザーのためにこれを実現する方法を見つけることができないようです。

フェデレーテッド・ユーザー用の正規ユーザー ID は存在しますか? フェデレーション ユーザーにアクセス許可を付与する簡単な方法を見落としていませんか?

boto リクエストにデフォルトのヘッダーを設定することはできますか? 基本的に、S3 に対して行うすべての API 呼び出しにいくつかのヘッダーを含めたいと考えています。

インスタンスを作成するときにタグを指定するbotopythonAPIを使用する方法はありますか？インスタンスを作成し、それをフェッチしてからタグを追加する必要がないようにしようとしています。次のコマンドを実行するときに、特定のタグを持つようにインスタンスを事前構成するか、タグを指定する方がはるかに簡単です。

私は一連のユーザーを持つアプリを作成しています。各ユーザーには、S3 バケット内の「ディレクトリ」に関連付けられた多数のファイルがあります。ユーザーは Amazon の STS を使用して認証し、所有していないリソース ( 「ホーム」ディレクトリなど)へのアクセスを許可しない一方で、所有するリソースへのアクセスを許可する一時的なセキュリティ資格情報を取得します。

ユーザーがすでにシステムに存在し (認証されている)、次の命名スキームを使用してファイル バケットが (指定されたポリシーまたは ACL なしで) 作成されていると仮定します。

ファイルにアクセスするユーザーのリクエスト中に、boto を使用して次のように一時的なセキュリティ資格情報を付与します。

user_policy は次のとおりです。

私はポリシーを理解していると思っていましたが、どうやら何かが欠けているようです。上記のスキームを使用して、ユーザーのディレクトリの下にリソースを取得/配置できますが、他のユーザーに属するディレクトリ/リソースも取得できます。私の人生では、アクセスを適切に分離することはできません。バケット ポリシーも試してみましたが、実を結びませんでした。

任意の方向をいただければ幸いです。

注: IAM ユーザーを作成/使用するにはユーザーが多すぎる可能性があるため、STS の使用に行き詰まっています。

boto.storage_uri()可能性のある例外を処理できるように、Python で呼び出しをラップするにはどうすればよいですか?

私はEC2をいじっていますが、これが私のシナリオです:

1 回: 必要なキー ペアを使用して EC2 インスタンスを作成しました。

毎日 ：

要因 :

大まかなコード:

現在、EC2 インスタンスを手動で開始および停止し、ファイルを前後に rsync しています。このステップをなくしたい。これが最善の方法ですか、それとも何か提案はありますか? ローカル マシンからのサンプル入力ファイル (abc.txt) を使用してコードにいくつかの行を追加し、ec2 でファイルの内容を出力し、それを out.txt に出力してフェッチすることができる場合。パスワード プロンプトを表示せずにファイルを転送することは、困難であることがわかっています。（最終的にはホストファイルに追加されますが、まだ調べていません）

SOersさん、ありがとうございます！

私はbotoPythonでEC2ワークフローの一部を自動化するために使用しています。

この問題は非常に奇妙です。スクリプトは単純な変数の割り当てでフリーズしているように見えますが、バックグラウンドで続行されています。最終的に、スクリプトはすべてを出力します。

iPythonでスクリプトを1行ずつ繰り返すと、問題は発生せず、フリーズしたり待機したりすることもありません（AWSで話すときに期待する以上のことはありません）。Pythonスクリプトとして実行すると、スクリプトが完了するまで出力がフリーズするようです。

スクリプト：

コマンドラインからスクリプトを実行していますfab total_web_deploy

出力は次のようになります。

次に、残りのスクリプトが出力される前に、インスタンスとすべてが終了するのを待つ必要があります。しかし、それは明らかにバックグラウンドで機能していません。

何か案は？

編集私は質問を明確にしました。

20 個の AMI が登録されているとします。boto API コマンドラインを使用して、登録済みの AMIのみを除外する方法はありますか?

ありがとう！