問題タブ [cheerio]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
jquery - クラスも ID も持たないネストされたセレクターを取得する
Web サイトをスクレイピングしようとしていますが、必要なセレクターを取得する方法がわかりません。私はこの機能を使用しています：
Var タイトルは魅力のように機能します。Var Stockはそうではなく、私がコピーペーストしたcssパスであり、var priceは以前のWebサイトからのものですが、とにかくそれを入手するのが難しいかどうかもわかりません. 私はただ「ヌル」になっています。
これはスクレイピングする URL の例です: スクレイピング するサイト
javascript - Node.js - URL の配列を一度に 1 つずつループする
私はノード js の初心者で、Web スクレイピング スクリプトを作成しようとしています。1 分間に 15 件未満のリクエストを行う場合、サイト管理者から製品をスクレイピングする許可を得ました。最初は一度にすべての URL を要求していましたが、いくつかのツールを使用した後、配列内の各項目を処理することができましたが、配列内に項目がなくなったときにスクリプトが停止しませんか? 私は自分の結果にあまり満足しておらず、これを行うためのより良い方法があると感じています.
javascript - node.js を使用した Web クローラーが期待どおりの出力を表示しませんでした。
ライブラリをnode.js使用した私のWebクローラーは次のとおりです。cheerio
しかし、実行すると、次の出力が得られます。
配列内の 25 個のリンクの代わりに。
私は何を間違えましたか？
どうすれば修正できますか？
javascript - サイト内の DOM にアクセスするための jQuery
このサイトからテーブル内のさまざまな要素をスクレイピングして、node.js、cheerio、request を使用してスクレイピングを学習しようとしています。
テーブルのアイテムを取得するのに苦労しています。基本的には、テーブルから「ランク」、「会社」、および「3年間の成長」を取得したいと考えています。どうすればいいですか？
オンラインチュートリアルに基づいて、scraping.js スクリプトを次のように開発しました。
ただし、右上のコメントのある行が表示されていないと確信しています。テーブル内の属性により適切にアクセスできる方法はありますか?
私はXpathがそのようなものであることに気づきました
//*[@id="col-r"]/table/tbody/tr 2 /td 1 -- ランク
//*[@id="col-r"]/table/tbody/tr 2 /td 2 /a -- 会社名
//*[@id="col-r"]/table/tbody/tr 2 /td[3] -- 3 年間の成長率
それに応じてこれらの属性にアクセスする方法を理解しようとしています..
html - Node.js のスクレイピング: H2 ヘッダーからテキストを取得する
わかりましたので、楽しみのために、私の大学に通う、ウェブサイトのムードルにサインアップしているすべてのユーザーをスクレイピングすることにしました。
Node.jsとcheerioで作ったサイトをスクレイピングするプログラムですが、H2タグ内のテキストが取得できないようです。
http://moodle.ramapo.edu/user/profile.php?id=2101 必要なのは、ID 番号を変更するだけで、すべての学生をループします。
H2 タグ内のテキストを選択して、それらすべてをコンソールに記録するにはどうすればよいですか?
javascript - Cheeriojs - すべてのオブジェクトをループする方法は?
私は以下のコードを持っています：
これにより、この div からテキストが返されます。
基本的にページには約 20 人の人物の写真があるため、クラス名が のページには約 20 ほど<a>のタグがありますname。<a>各タグをループして、以下のようなものを含む JSON 変数を生成するにはどうすればよいですか
現時点では、1 つの名前の値を保持することしかできません。これは、現時点では役に立ちません。
どんな助けでも大歓迎です！
javascript - スコープの問題により、変数が未定義として返されました
officialcharts.com からスクレイピングしたデータの YouTube ビデオを取得しようとしています。データをスクレイピングして、YouTube の URL を取得できます。しかし、データを配列にプッシュしようとすると、タイトルとアーティスト名だけがプッシュされます。変数 youtubeUrl には値が割り当てられていません。変数 youtubeUrl がスコープにないのはなぜですか?
私はそれを行う複数の方法を試しました。検索機能内で youtubeUrl を宣言してからリクエストの外で宣言しようとしましたが、同じ問題が発生します。
また、json.tracks.push を検索機能内に移動しようとしましたが、json が範囲内にないため、トラックには何も追加されません
動画の検索にhttps://www.npmjs.org/package/youtube-searchを使用しています。
javascript - ノードの Jquery スクレイピングの問題
Web ページで単純なスクレイプを実行しようとしていますが、問題は、スクレイパーで HTML 要素を正しく選択できないように見えることです。から属性を正しく<li>取得していると思っていましたがundefined、各オブジェクト プロパティの値を取得しています。
data-name、data-addressおよびdata-url値を取得しようとしています。
こすり.js
html: