問題タブ [node-request]

ブラウザにのみ表示される Google 検索結果から一部のコンテンツをスクレイピングする必要があります (Javascript が有効になっていると思われます)。具体的には、ナレッジ グラフの「人々も検索する」コンテンツです。

と の組み合わせを使用しrequestてcheerioスクレイプし、ドメインから結果を強制的に読み込むことができましたが、おそらく JavaScript によって生成されたコンテンツであるため.com、ナレッジベース ボックスが結果に表示されません。body

追加できる設定や使用できる別のライブラリがあるかどうかは誰にもわかりませんか?

以下は私のコードです。ありがとうございました！

かなり複雑なスクレーパーを作成しているときに、コードの制御フローに関する問題に遭遇しました。

以下のコードで何が起こっているか: 1) URL を要求する 2) 結果から NEWURL をスクレイピングする 3) 最初の非同期関数として読みやすさ API に渡す 4) ここで問題が発生します — readabilityData を DB に保存する次の非同期関数を取得することはありません

この問題を解決するには？私は JS を初めて使用するので、私のコードの問題を指摘してください。

奇妙な問題があります。リクエスト モジュールを使用して特定のページを破棄しようとしていますが、そうすると 403 Access Denied が発生します。しかし、ノードのcurlモジュールを使用して完全に実行できます。しかし、インターネット上の人々は、似たようなページをたくさん破棄する必要があるため、リクエスト モジュールよりもパフォーマンスが要求されることを示唆しています。requests モジュールを使用すると 403 になるのはなぜですか?

次のように、https リクエストを介して https グラフ API を使用して基本的に Facebook トークンを検証する nodejs プログラムを作成しました。

問題は、10 件のリクエストしかできないことです。10 番目以降に行われた要求は完了しません (つまり、コールバックが呼び出されず、データが返されません)。パラメータ化されたリクエストにタイムアウトパラメータを追加しようとしましたが、役に立ちませんでした。

私はgulp、browserify、watchifyを使用しています。ここに私の「スクリプト」タスクがあります：

client.js次のようになります。

requestnode モジュール (http クライアント) はどこにありますか: https://github.com/request/request

このタスクを実行してコードを実行すると、すべて問題ありません。変更すると問題が発生しますclient.js。コメントするとalert('1')、watchify start が機能し、bundle()再び実行されます。ブラウザでページをリロードすると、次の JavaScript 例外が発生します。

次のスタック トレースを使用します。

browserify / requestの何が問題なのか考えていますか?

プロキシ URL を指定したにもかかわらず、POST リクエストが Fiddler に送信されません。

注: 私の URL: http://node.dev:8080/apiは localhost を指しています。

私が間違っていることは何か分かりますか？