Glue で 2 つの動的フレームをマージする必要があります。mergeDynamicFrame 関数を使用しようとしましたが、同じエラーが発生し続けます:
AnalysisException: "id指定された入力列を解決できません: [];;\n'Project ['id]\n+- LogicalRDD false\n"
今、私は 2 つの DF を持っています: df_1(id、col1、salary_src) と df_2(id、name、salary)
「id」列でdf_2をdf_1にマージしたい。
df_1 = glueContext.create_dynamic_frame.from_catalog(......)
df_2 = glueContext.create_dynamic_frame.from_catalog(....)
merged_frame = df_1.mergeDynamicFrame(df_2, ["id"])
applymapping1 = ApplyMapping.apply(frame = merged_frame, mappings = [("id", "long", "id", "long"), ("col1", "string", "name", "string"), ("salary_src", "long", "salary", "long")], transformation_ctx = "applymapping1")
datasink2 = glueContext.write_dynamic_frame.from_options(....)
テストとして、両方のDF (salaryとsalary_src)から列を渡そうとしましたが、次のようなエラーが発生しました:
AnalysisException: "' salary_src' 指定された入力列を解決できません: [id、name、salary];;\n'Project [salary#2, 'salary_src]\n+- LogicalRDD [id#0, name#1, salary#2],偽\n"
この場合、df_2 (id、name、salary) の列を認識しているようですが、列の 1 つまたは 3 つだけを渡すと、失敗し続けます。