私の Data Lake Analytics ジョブは、.NET を実装するカスタム .NET アセンブリを読み込みますIExtractor。このエクストラクタは、たとえば、テキスト ファイルからデータを再配置するだけの場合にはうまく機能しますが、私が実際にやりたいのは、入力データをベンダーのリモート API から HTTP 経由でプルすることです。そこで、エクストラクターの実装を変更して、本質的に REST 要求を作成します。
これを行うと、Analytics ログに「http 要求を作成できません」というエラーが表示されます。Microsoft が、Analytics のカスタム アセンブリ内でできることとできないことを制限していることは理にかなっていると思いますが、ドキュメントには、カスタム アセンブリ内で HTTP 要求を行うことはできないという直接的な記述は見つかりません。
だから私の質問は2つの部分です：
- Azure Data Lake Analytics のカスタム アセンブリに関する制限はどこに記載されていますか?
- 大規模な静的入力ファイルが最新のデータを取得する方法として洗練されていないことがわかった場合、入力データを Analytics ジョブにプルするためのより良い方法は何ですか?