問題タブ [apify]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
javascript - jquery ajaxを使用してapifyで複数のHTMLページをドロップボックスにダウンロードする方法
Apify を使用して約 100 ページをクロールしています。アクセスしたすべてのページの HTML ファイルをドロップボックス フォルダーにダウンロードしたいと考えています。jQuery Ajax コードでこれを指定するにはどうすればよいですか?
前もって申し訳ありませんが、私はJavascriptとWeb関連のすべてにまったく慣れていません。
私はすでにこれらのチュートリアルに従おうとしました: https://forum.apify.com/t/data-download-from-within-crawler/48およびhttps://www.dropbox.com/developers/documentation/http/ documentation#files-save_urlですが、2 番目にアクセスしたページの HTML ファイルしかダウンロードできません。私のクローラーは完全に正常に動作し、必要なすべてのサイトにアクセスし、これらのページから必要な結果を取得していることを知っています。問題は、すべての HTML ファイルをダウンロードするように指定していないことです。どうすればいいですか？
（実際のコードでは、正しい誓いトークンで記述しましたが、オンラインで誰もが見られるようにしたくありません）
これから得られるのは、ドロップボックスに a.txt として保存された 1 つのファイルです。これは私が望んでいたものですが、このファイルには 1 つの HTML ファイルのみが含まれており、クローラーがアクセスしたすべてのファイルを含むファイルではありません。
このコードは、クローラーが新しいページにアクセスするたびに最初に出会うものです。
javascript - Google Cloud Functions で Apify を使用する方法
Apify を Google Cloud Functions として使用してコードをデプロイしています。トリガーされると、Cloud Function はサイレントに終了します。私は何を間違っていますか？
Apify 0.15.1 を使用した実用的なコードがいくつかあります。ローカルでは問題なく動作します。Google Cloud Function としてデプロイされると、明確なエラーなしでサイレントに失敗します。Puppeteer 1.18.1 を使用した同等のコードは問題なく動作します。
以下のより単純なコードを使用して問題を再現しました。この例では Apify が厳密に必要というわけではありませんが、Apify が提供する追加機能を使用できるようにしたいと考えています。
Apify を使用したコード:
Puppeteer を使用したコード:
Google Cloud Function (--trigger-http および --memory=2048 を使用) としてデプロイされると、Puppeteer バリアントは正常に動作しますが、Apify バリアントは結果なしでサイレントに終了します ('ok' / HTTP 200 戻り値を除く)。