2

「依存関係を待機中」のたびに、スタックして保留モードになるデータパイプがあります。

ここでは、入力と出力が必要な「Hive アクティビティ」を使用しています。私の場合、すべてのデータは Hadoop インフラストラクチャにあるため、S3 入力と S3 出力は必要ありません。ただし、datapipeline でエラーが発生するため、それらを削除する方法はありません。さらに、S3ノードが「存在する」という前提条件にもかかわらず、パイプはこの時点でスタックします。このパイプを実行するたびに、手動で S3node を "markfinish" する必要があります。その後はうまくいきます。

{
   Name:
   @S3node1_2014-08-01T13:59:50
   [View instance fields]
   Description:
   Status: WAITING_ON_DEPENDENCIES
   Waiting on:
   @RunExpertCategories_2014-08-01T13:59:50
}

どんな洞察も役に立ちます。AWS Datapipeline のドキュメントには詳細が記載されていません。

4

1 に答える 1

0

HiveActivityを設定"stage": "false"すると、入力ノードと出力ノードは不要になります。

于 2016-12-13T03:31:01.843 に答える