問題タブ [web-mining]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
python-2.7 - BeautifulSoup を使用してページの小見出しを抽出できないのはなぜですか?
このページの名前と小見出しを抽出しようとしています (たとえば)。名前の抽出には問題はありませんが、小見出しには失敗しています。Chrome の inspect 要素を使用して、小見出しテキスト「Canada Census, 1901」が次のように埋め込まれていることを確認しました。
そこで、スクリプトを次のようにコーディングしました。
これは、小見出しを見つけて抽出することができない結果です。
python-2.7 - Twitter ストリーミング API、発信者の名前はどこにありますか?
Python を使用して、API 経由で Twitter のツイートをストリーミングしています。たとえば、「car」という単語は次の結果を生成します。
このツイートを書いた Twitter ユーザーの ID は「507683414255108096」のようですが、対応するツイートを書いた実際の Twitter ユーザーのユーザー名で Twitter の API ツイートをエクスポートする方法はありますか?
API 経由ではない場合、ユーザー名を含むツイートのストリームを取得するには、実際にユーザーをフォローする必要がありますか? それとも別の方法がありますか？
python - Python Mechanize - リストにない値をドロップダウン メニューに送信する方法
Python の機械化を使用して、商品を Amazon ショッピング カートに追加しています。アイテムの製品ページで、フォームのドロップダウン メニューで数量を選択し、[カートに追加] を送信します。
ドロップダウン メニューでは、数量を 1 ～ 30 から選択できます。
次のコードは、数量が 1 ～ 30 の製品を追加する場合に機能します。ただし、30 を超える数量を追加しようとすると、つまり値がドロップダウン メニューで具体的に表現されていない場合は機能しません)。
ドロップダウン メニューの最大値 30 は人為的な制約です。実際、最大 999 個のアイテムを問題なく追加できます (Firebug を使用して 30 より大きい値を送信すると、これが確認されます)。
私の質問 - 次のコードを変更して、ドロップダウン メニューに値としてリストされていない数量を正常に送信するにはどうすればよいですか?
数量が 1 ～ 30 の場合、上記のコードは機能します。数量が 31 以上の場合、エラーは次のようになります。
python - リンクのリストから情報を取得し、それらを JSON オブジェクトにダンプするにはどうすればよいですか?
Python と BeautifulSoup は初めてです。どんな助けでも大歓迎です
企業情報の1 つのリストを作成する方法については考えていますが、それは 1 つのリンクをクリックした後のことです。
最初にリンクをスクレイピングしてから、サイトのすべての企業リスト データの JSON を構築する方法について、誰か考えを教えてもらえますか?
より良い視覚化のためにサンプル画像も添付しました。
個々のリンクをクリックせずに、サイトをスクレイピングして、以下の例のような JSON を構築するにはどうすればよいでしょうか?
予想される出力の例:
