0

Apify を使用して約 100 ページをクロールしています。アクセスしたすべてのページの HTML ファイルをドロップボックス フォルダーにダウンロードしたいと考えています。jQuery Ajax コードでこれを指定するにはどうすればよいですか?

前もって申し訳ありませんが、私はJavascriptとWeb関連のすべてにまったく慣れていません。

私はすでにこれらのチュートリアルに従おうとしました: https://forum.apify.com/t/data-download-from-within-crawler/48およびhttps://www.dropbox.com/developers/documentation/http/ documentation#files-save_urlですが、2 番目にアクセスしたページの HTML ファイルしかダウンロードできません。私のクローラーは完全に正常に動作し、必要なすべてのサイトにアクセスし、これらのページから必要な結果を取得していることを知っています。問題は、すべての HTML ファイルをダウンロードするように指定していないことです。どうすればいいですか?

(実際のコードでは、正しい誓いトークンで記述しましたが、オンラインで誰もが見られるようにしたくありません)

var html = $('html').html();

var url = "https://content.dropboxapi.com/2/files/upload";

$.ajax({  
    url: url,
    contentType: "application/octet-stream",
    headers: {  
        "Authorization": 'Bearer ' + 'My Oath-token',
        "Dropbox-API-Arg": "{\"mode\":\"add\",\"path\":\"/a.txt\"}",
        },  
    type: 'POST',
    data: html,
    autoRename: true,
    max_results: 1000
});

これから得られるのは、ドロップボックスに a.txt として保存された 1 つのファイルです。これは私が望んでいたものですが、このファイルには 1 つの HTML ファイルのみが含まれており、クローラーがアクセスしたすべてのファイルを含むファイルではありません。

このコードは、クローラーが新しいページにアクセスするたびに最初に出会うものです。

4

0 に答える 0