問題タブ [incremental-build]

sqoop を使用して増分インポート ジョブを実行しようとしましたが、次のようなエラーが発生します。同じことをするために使用しているコードも入れました。テーブルは rdbms にあります。hdfs にインクリメント インポートしようとしています。ジョブは正常に作成されますが、実行中にエラーがスローされるだけです。管理サーバーは正常に動作しています。ログイン資格情報を確認し、管理サーバーを再起動して sqoop ジョブを実行しましたが、それでもエラーは残りました。疑似分散モード localhost に Hadoop をセットアップしました。

利用可能なノードを多かれ少なかれランダムに選択するのではなく、ブランチを構築するときに最後のビルドノードを優先することにより、Jenkins Multibranch Pipeline がインクリメンタルビルドをより適切にサポートするようにする方法はありますか?

詳細：

大規模な Git プロジェクト用に Jenkins マルチブランチ パイプラインをセットアップしています。ここでは、Make を使用して多くのコードをビルドおよびテストしています。完全なビルドには 6 ～ 8 時間かかりますが、Make の依存関係の追跡はインクリメンタル ビルドを使用するのに十分であり、ほとんどのビルド時間を大幅に短縮できます。これが機能するには、Jenkins は同じブランチへの変更のために同じワークスペースを再度選択する必要があります。幸いなことに、これは同じビルド ノードでのみ行われます。

いくつかの同一の Jenkins スレーブ ノードが利用可能です。Git のブランチでの変更によりビルド ジョブが開始されるたびに、Jenkins は明らかにクリーンなワークスペースを持つランダムなフリー ビルド ノードを選択するようです。

すべてのビルド ノードがワークスペースを共有できるように、NFS を介してビルドしようとしましたが、少なくとも利用可能な NFS サーバーは遅すぎてこれを機能させることができません。

Jenkins がノードを少しランダムに選択せず、前回ブランチがビルドされた最新のノードを優先するようにする方法はありますか?

プロジェクトの gradle ビルド キャッシュを有効にしました。ただし、サードパーティのプラグインの npm-install などの非組み込みタスクを使用しています。Gradle は、これらのタスクのキャッシュを有効にしていません。たとえば、そのようなタスクが実行されると、次のように表示されます。

このような非組み込みタスクのビルド キャッシュを有効にする方法はありますか?

毎日 1 回増分更新するテーブルがあります。テーブルには約 1,000 万件のレコードがありますが、過去 24 時間に作成または更新された行のみを更新します。これは完全に正常に実行されますが、レコードが作成された時間に基づいて計算され、最新のデータ実行時間と比較される各販売 (レコード) の経過時間を計算する列の 1 つに問題があります。テーブルがインクリメンタルに更新されるたびに、1,000 万行ごとにこの列だけを更新する方法を知りたいです。

DB として Amazon Redshift を使用しています。

ありがとう..