Apify を使用して約 100 ページをクロールしています。アクセスしたすべてのページの HTML ファイルをドロップボックス フォルダーにダウンロードしたいと考えています。jQuery Ajax コードでこれを指定するにはどうすればよいですか?
前もって申し訳ありませんが、私はJavascriptとWeb関連のすべてにまったく慣れていません。
私はすでにこれらのチュートリアルに従おうとしました: https://forum.apify.com/t/data-download-from-within-crawler/48およびhttps://www.dropbox.com/developers/documentation/http/ documentation#files-save_urlですが、2 番目にアクセスしたページの HTML ファイルしかダウンロードできません。私のクローラーは完全に正常に動作し、必要なすべてのサイトにアクセスし、これらのページから必要な結果を取得していることを知っています。問題は、すべての HTML ファイルをダウンロードするように指定していないことです。どうすればいいですか?
(実際のコードでは、正しい誓いトークンで記述しましたが、オンラインで誰もが見られるようにしたくありません)
var html = $('html').html();
var url = "https://content.dropboxapi.com/2/files/upload";
$.ajax({
url: url,
contentType: "application/octet-stream",
headers: {
"Authorization": 'Bearer ' + 'My Oath-token',
"Dropbox-API-Arg": "{\"mode\":\"add\",\"path\":\"/a.txt\"}",
},
type: 'POST',
data: html,
autoRename: true,
max_results: 1000
});
これから得られるのは、ドロップボックスに a.txt として保存された 1 つのファイルです。これは私が望んでいたものですが、このファイルには 1 つの HTML ファイルのみが含まれており、クローラーがアクセスしたすべてのファイルを含むファイルではありません。
このコードは、クローラーが新しいページにアクセスするたびに最初に出会うものです。