2

YouTubeビデオリンクをクロールしたい（そしてビデオIDを取得したい）いくつかの調査を行っています

たとえば、YouTube の検索バーに「オバマ」というキーワードを入力すると、youtube.com は結果のページを返します。

http://www.youtube.com/results?search_query=htc&page=2 ページを一番下までスクロールすると、ページ番号が表示されます 1 2 3 4 5 6 7 2 から 3 から 4 から 5 のページ番号をクリックします.... それから、最大ページ数 :50 に到達できます

だから私は1から50までのすべてのページをダウンロードしたいのですが、次のようなURLトリックがあります

http://www.youtube.com/results?search_query=obama&page=5

ただし、wget を使用して各ページをダウンロードすると、ダウンロードがブロックされる場合や、ページ番号が大きい場合に返されるページが異常なページではない場合があります。

ページ番号ボタンを手動でクリックし、Web ブラウザーを使用して各ページをダウンロードするのが正しい方法ですが、手動の手順を自動化することは可能ですか? インターネットで検索したところ、chrome javascript の拡張について言及している人もいましたが、手動操作を模倣する自動化スクリプトを作成する方法はありますか? ありがとう！

4

1 に答える 1

1

彼らのAPIを使用しないのはなぜですか? クロールは一般的に悪い習慣です。

https://developers.google.com/youtube/2.0/developers_guide_protocol

https://developers.google.com/youtube/2.0/developers_guide_protocol_api_query_parameters

https://gdata.youtube.com/feeds/api/videos?
    q=football+-soccer
    &orderby=published
    &start-index=11
    &max-results=10
    &v=2
于 2013-01-03T17:39:59.713 に答える