8

私は Nightmare を使用して、今日の新聞の自動ダウンローダーを作成しています。なんとかログインして、指定されたページに移動しました。しかし、Nightmare でファイルをダウンロードする方法がわかりませんでした。

var Nightmare = require('nightmare');
new Nightmare()
  .goto('https://login.nrc.nl/login?service=http://digitaleeditie.nrc.nl/welkom')
    .type('input[name="username"]', 'Username')
    .type('input[name="password"]','Password')
    .click('button[type="submit"]')
    .wait()
    .goto('http://digitaleeditie.nrc.nl/digitaleeditie/NH/2014/10/20141124___/downloads.html')
    .wait()
    .click('a[href="/digitaleeditie/helekrant/epub/nrc_20141124.epub"]')
    .wait()

    .url(function(url) {
        console.log(url)
    })
    .run(function (err, nightmare) {
      if (err) return console.log(err);
      console.log('Done!');
    });

ダウンロードボタンをクリックしてファイルをダウンロードしようとしました。ただし、これは機能しないようです。

4

4 に答える 4

5

PhantomJS (および CasperJS と Nightmare) は、ダウンロードする必要があるものをクリックしても、ダウンロード (ダイアログ) をトリガーしません。そのため、自分でダウンロードする必要があります。ファイルの URL がわかれば、ページ コンテキストから XMLHttpRequest を使用して簡単にダウンロードできます。

だから交換が必要

.click('a[href="/digitaleeditie/helekrant/epub/nrc_20141124.epub"]')

為に

.evaluate(function ev(){
    var el = document.querySelector("[href*='nrc_20141124.epub']");
    var xhr = new XMLHttpRequest();
    xhr.open("GET", el.href, false);
    xhr.overrideMimeType("text/plain; charset=x-user-defined");
    xhr.send();
    return xhr.responseText;
}, function cb(data){
    var fs = require("fs");
    fs.writeFileSync("book.epub", data, "binary");
})

バイナリ データを要求する新しい方法を使用することもできます。

.evaluate(function ev(){
    var el = document.querySelector("[href*='.pdf']");
    var xhr = new XMLHttpRequest();
    xhr.open("GET", el.href, false);
    xhr.responseType = "arraybuffer";
    xhr.send();

    var bytes = [];
    var array = new Uint8Array(xhr.response);
    for (var i = 0; i < array.length; i++) {
        bytes[i] = array[i];
    }
    return bytes;
}, function cb(data){
    var fs = require("fs");
    fs.writeFileSync("book.epub", new Buffer(data), "binary");
})

どちらの方法もMDNで説明されています。概念実証を示すサンプル スクリプトを次に示します。

于 2014-11-24T21:17:18.117 に答える
3

ナイトメア ダウンロード プラグインがあります。以下のコードだけでファイルをダウンロードできます。

var Nightmare = require('nightmare');
require('nightmare-download-manager')(Nightmare);
var nightmare = Nightmare();
nightmare.on('download', function(state, downloadItem){
  if(state == 'started'){
    nightmare.emit('download', '/some/path/file.zip', downloadItem);
  }
});

nightmare
  .downloadManager()
  .goto('https://github.com/segmentio/nightmare')
  .click('a[href="/segmentio/nightmare/archive/master.zip"]')
  .waitDownloadsComplete()
  .then(() => {
    console.log('done');
  });

于 2016-12-20T16:06:54.320 に答える
1

here で説明されているように、requestモジュールを使用してダウンロードを非常に簡単にしました。

var Nightmare = require('nightmare');
var fs = require('fs');
var request = require('request');

new Nightmare()
  .goto('https://login.nrc.nl/login?service=http://digitaleeditie.nrc.nl/welkom')
  .insert('input[name="username"]', 'Username')
  .insert('input[name="password"]','Password')
  .click('button[type="submit"]')
  .wait()
  .goto('http://digitaleeditie.nrc.nl/digitaleeditie/NH/2014/10/20141124___/downloads.html')
  .wait()
  .then(function () {
    download('http://digitaleeditie.nrc.nl/digitaleeditie/helekrant/epub/nrc_20141124.epub', 'myBook.epub', function () {
      console.log('done');
    });
  })
  .catch(function (err) {
    console.log(err);
  })

function download(uri, filename, callback) {
  request.head(uri, function () {
    request(uri).pipe(fs.createWriteStream(filename)).on('close', callback);
  });
}

npm i requestを使用するために実行しますrequest。

于 2016-09-09T05:26:50.410 に答える
0

ダウンロード リンクをクリックすると、Nightmare が適切にダウンロードします。

const Nightmare         = require('nightmare');
const show              = ( process.argv[2].includes("true") ) ? true : false;
const nightmare         = Nightmare( { show: show } );

nightmare
    .goto("https://github.com/segmentio/nightmare")
    .click('a[href="/segmentio/nightmare/archive/master.zip"]')
    .end(() => "Done!")
    .then((value) => console.log(value));
于 2017-03-19T22:11:47.000 に答える