Google Chrome拡張機能のウェブサイト用のクローラーを作成するにはどうすればよいですか？https://chrome.google.com/webstore/category/extensions
Chrome拡張機能について少しセキュリティ調査を行っています。カテゴリごとに約100の拡張機能があり、現在私が抱えている問題は、少なくともUIDを取得するためのクローラーを作成することです。ウェブサイトはjavascriptによって更新されているようです。HTMLを取得した場合、サイトは後の段階でページの残りの部分をロードしているように見えるため、何も取得されません。つまり、必要なコアコンテンツ（つまり、すべての拡張要素を含むDOM）は、Pythonを使用してHTMLを取得した後に読み込まれるようです。何か案は？
はい、ウェブページにはデータが含まれていません。個別にダウンロードされます。次のような URL が使用されます。
https://chrome.google.com/webstore/ajax/item?pv=1389738107&count=100&category=app/7-productivity
これは POST リクエスト (POST データなし) でなければならないことに注意してください。その他のリクエストはセキュリティ上の理由から拒否されます。")]}'"ファイルの先頭や"[]\n"その他のさまざまな場所で削除する必要がありますjson.loads. データはあまり構造化されていませんが、クロールには十分なはずです。
このパラメーターは間もなく変更される可能性があることに注意してpvください (この Unix 時間は 4 日前の日付に対応します)。Chrome の開発者ツールの [ネットワーク] タブを使用して、現在の要求パラメーターを確認できます。categoryパラメータはカテゴリの識別子です。これは Web ストア リンクの後の URL 部分ですhttps://chrome.google.com/webstore/category/。