1

完了後にジョブフローを終了せずに、botoを使用して待機中のAmazon EMRジョブフローにステップを追加するにはどうすればよいですか？

AmazonのElasticMapReduceでインタラクティブなジョブフローを作成し、いくつかのテーブルをロードしました。Botoを使用してジョブフローに新しいステップを渡すと、ジョブemr_conn.add_jobflow_steps(...)フローは、終了または失敗した後に終了します。

run_jobflowパラメータを使用してbotoでジョブフローを開始できることはわかってkeep_aliveいますが、すでに実行されているフローを操作したいと思います。

4

3 に答える 3

3

正しく終了する場合は、で終了しないでくださいkeep_alive=True。とは言うものの、通常は失敗すると終了するので、引数に追加terminate_on_failure="CONTINUE"する必要があります。add_job_steps

于 2012-01-29T17:14:08.333 に答える
2

私はこのようなものを使用します

で作成

import boto.emr

conn = boto.emr.connect_to_region('us-west-2')
jobid = conn.run_jobflow(name='cluster-name',
                     ec2_keyname="yourkeyhere",
                     num_instances=3,
                     master_instance_type='m1.medium',
                     slave_instance_type='m1.medium',
                     keep_alive=True,
)

既存のクラスターにジョブを追加します（クラスターが待機状態になるまで少し待ちます）

import boto.emr

conn = boto.emr.connect_to_region('us-west-2')
# get the list of waiting cluster and take the first one
jobid =  conn.describe_jobflows(states=["WAITING"])[0].jobflowid
print jobid
flow_steps = list()
runThing = boto.emr.step.ScriptRunnerStep(
                        name="job step name",
                        step_args = ["s3://yours3bucket/dosmthg.sh"])
flow_steps.append(runThing)
conn.add_jobflow_steps(jobid, flow_steps)

ノート

  • 〜/ .aws / credentialsを入力する必要があります（aws configure）
  • アマゾンリージョンus-west-2には現在最新のamiバージョンがあります
  • ハイブ、ピッグ、またはカスタムインストール手順が必要な場合は、bootstrap_actions=を追加する必要がある場合があります
于 2015-05-19T12:38:49.860 に答える
0

'KeepJobFlowAliveWhenNoSteps'フラグを使用してこれを行うこともできます。

response = emr.run_job_flow(
        Name="start-my-cluster",
        ReleaseLabel="emr-5.3.1",
        LogUri='s3://logs',
        Instances={
            'InstanceGroups': [
                {'Name': 'EmrMaster',
                 'InstanceRole': 'MASTER',
                 'InstanceType': 'm3.xlarge',
                 'InstanceCount': 1},
                {'Name': 'EmrCore',
                 'InstanceRole': 'CORE',
                 'InstanceType': 'm3.xlarge',
                 'InstanceCount': 2}
            ],
            'Ec2KeyName': 'my-key-name',
            'KeepJobFlowAliveWhenNoSteps' : True,
        },
        Applications=[{'Name': 'Hadoop'}, {'Name': 'Spark'}, {'Name': 'Hive'}],
        JobFlowRole='EMR_EC2_DefaultRole',
        ServiceRole='EMR_DefaultRole',
        VisibleToAllUsers=True,
        Steps=[
            # steps go here...
        ]
        )
于 2017-03-02T14:05:47.333 に答える