2

悪夢でスクレイピングするのは最近まで簡単でしたが、以下に示すように、詳細がなく、タイトル「ナビゲーションエラー」とエラーコード118のエラーに遭遇し始めました。

{ [Error: navigation error]

'0': { メッセージ: 'ナビゲーション エラー'、コード: -118、詳細: ''、url: ' http://markets.ft.com/research/Browse-Companies ' }、長さ: 1、エラー: [ { メッセージ: 'ナビゲーション エラー'、コード: -118、詳細: ''、URL: ' http://markets.ft.com/research/Browse-Companies ' } ] }

私の悪夢のコード（Node.Js）：

 function *run(){

var nightmare = Nightmare({show : true });
nightmare.useragent("Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36")
var url = "http://markets.ft.com/research/Browse-Companies";
var industry = [];

//fetching data in { INDUSTRY , LINK , SECTOR } format .

yield nightmare.goto(url).inject('js' , './jquery-2.2.3.min.js').wait('#wsod').evaluate(function () {

    var arr = [];

    $('.simpleLinkList.wsodModuleContent li').each(function(){
        arr.push({SECTOR : $(this).parents('ul').prev().text().replace('Sectors & Industries' , '') ,
            INDUSTRY : $(this).text() , LINK : $(this).find('a').attr('href')});
    })

    return arr;

}).then(function (data) {
    industry = data;
});

//using {LINK}

var companies = [];

for(var i = 0 ; i<2; i++)
{

    yield nightmare.goto(industry[i].LINK).inject('js' , './jquery-2.2.3.min.js').wait('#wsod');
    var nextExists = yield nightmare.visible('.wsod-icon-paging-next-active');
    var maxpage = 3;
    var currentpage = 1;
    var data = []; /* Object({ Name: "" , Link : ""})*/

    while(nextExists && currentpage < maxpage)
    {
        //pagination / checking if next page exists and looping the scraper for each page

        yield nightmare.evaluate(function(a , b){
            var obj = [];
            $('.company-link').each(function () {
                obj.push({Sector : a , Industry: b , Name: $(this).text() , Link: $(this).attr('href')});
            });

            return obj;
        },industry[i].SECTOR  , industry[i].INDUSTRY).then(function (obj) {
            data.push(obj);
        });


        yield nightmare.click('.wsod-icon-paging-next-active').wait(2000);

        currentpage++;
        nextExists = yield nightmare.visible('.wsod-icon-paging-next-active');
    }

    //data is an array of arrays and needs to be flattened.

    var x  = [].concat.apply([] , data);

    //now pushing data to companies list (entire container)

    companies.push(x);
}

companies = [].concat().apply([], companies);

//now companies is an array of entire list of all companies in every single      sector->industry with sector name included for ease

console.log(companies);*/
console.log(companies);

yield nightmare.end();

}

誰かがこのエラーに関する詳細情報を提供できれば、それは素晴らしいことです。プログラムは時々動作しますが、ほとんどの場合、「ナビゲーション エラー」が発生します。

4

1 に答える 1

2

よし、electron+nightmare に電力を供給するクロムのドキュメントを調べた後。

エラー コード -118 はタイムアウトに関連していますが、この問題は、実際のクロム ブラウザで即座に読み込まれる Web サイトで発生します。

今のところ電子バグのようです。誰かが詳細を知っている場合は、詳細を提供してください。

于 2016-05-11T10:30:42.283 に答える