これは、 Crawler上で動作する web-crawler のショートカット コードであり、うまく機能します。問題は、クローラーが 0.5 秒間に 20 個の文字列を返し、MySQL への格納が新しいものよりもはるかに遅いことです。この両方のプロセスをどのように適切に同期するか。
function crawler(done) {
for (i=0, ...) {
crawler.queue([{
"uri": link,
"callback": function (error, result, $) {
var arr = $('.someclass');
done(arr);
}
}])
};
};
crawler (function (arr) {
savetosql(s, arr);
});
function savetosql (s, arr) {
var query = connection.query('UPDATE ...');
};