問題タブ [azure-data-factory-2]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
azure - Azure Data Factory HDI オンデマンド カスタム メタストアの一時的な障害
約 40 のパイプラインを含む Azure Data Factory があり、各パイプラインには、HDInsight オンデマンドのリンクされたサービスを使用してハイブ スクリプトを実行するアクティビティがあります。
その後、Azure SQL インスタンスをストレージのリンクされたサービスとして使用するカスタム メタストアを追加しました。これを実現するために設定したのはHcatalogLinkedServiceName、データ ファクトリ ARM スクリプトだけです。
これを行ってから、アクティビティの失敗が増加し、パフォーマンスが低下していることに気付きました (これは、以前に使用していた Azure SQL 層が 100% の DTU 使用率に急上昇したことが原因である可能性があります)。
活動は失敗していますError in Activity: The request was aborted: The request was canceled..
これは、カスタム メタストアを使用する場合はかなり一貫しているように見え、デフォルトを使用する場合は問題にならないようです。
カスタム メタストアを構成するために他に必要なものがないか、またはここで説明した構成/使用法について、上記のエラーで失敗が大幅に増加している理由を示している可能性があります。
HDI OnDemand の OS は Linux で、バージョンは 3.2 です。
さらに重大なエラーもいくつかありましたが、これは、3.3 HDI クラスターを 3.2 オンデマンド クラスターと同じメタストアに接続したことが原因であると考えられます。これは、このドキュメントが提案するものです..
Ensure that the Metastore created for one HDInsight cluster version is not shared across different HDInsight cluster versions. This is due to different Hive versions has different schemas. Example – Hive 1.2 and Hive 2.1 clusters trying to use same Metastore.
これは、Hive と hcatalog の 3.2 と 3.3 の間に大きな変更があることも示唆しているようです。
https://docs.microsoft.com/en-us/azure/hdinsight/hdinsight-component-versioning
azure - Azure Datafactory (v2) トリガーの開始
Azure Datafactory に ScheduleTrigger があります。ランタイム状態を開始済みに変更できません。StartWithHttpMessageAsync を使用してみました。(そして、API の他のすべての開始コマンドのように感じます)
トリガーの json は次のようになります。