問題タブ [web-scripting]

私は1 週間 (1 か月)3000にURLからダウンロードする必要がある Web インターフェイスを備えた 1 つのプロジェクトを持っています。20000進行状況を表示するためにチケット システムを使用します。ダウンロードされたもの、ダウンロードが保留されているもの、タイムアウト エラーや同様の問題がある URL などです。現在は for を使用ScrapyDしていますが、 に切り替える予定ScrapyRTです。単一の URL を実行して結果を取得する方が簡単に見えるため、チケットのステータスを更新します。私の質問は、独立したリクエストをいくつ受け取ることができるScrapyRTかです。非同期をスクレイピングするために50〜100近くのリクエストを試みましたが、サーバーはただ作業を停止しました。

または、それを行う別の方法がありますか？Scrapy クラスタまたは Frontera は私には向いていません

3 つのボタンを連続してクリックするスクリプトを作成しようとしていますが、最初のボタンをクリックした後、スクリプトは無限にリロードされます。

ボタンをクリックしようとしているサイト: JDoodle
ボタン を表示するにはサインインする必要があります。スクリーンショットでわかるように:

ボタン 1

ボタン 2

試みたアプローチ：

1.

結果 ：unsafeWindow.r not defined

2.

結果: 無限のリロード。

3. アプローチ 1 と 2 を使用せずに実行するだけで、スクリプトによってボタンがクリックされることはありません。

始めるには良い方法ではありませんが、これがトピックから外れている場合はご容赦ください。プログラミングの質問のように思えます...

ASP.NET Web サイトから、上部にツールバーがあり、下部に iframe のようなウィンドウがある新しいブラウザーでページを開きたいと考えています。フレームのようなウィンドウは、タブ ブラウジングをサポートし、サード パーティの Web サイトをロードします。ツールバーには、ユーザーが HTML を操作できるボタン (フォーム入力と Web スクレイプ) があります。たとえば、ツールバーのボタンは「Web ページ データの抽出」や「フォームの入力」などです。

理想的には、IE、Edge、Chrome、および Safari で動作しますが、絶対的な最小要件は IE であり、より望ましい最小要件は Chrome および Edge です。

私は、これが他のプロプライエタリ ソフトウェアによって行われているのを見てきました。特定のブラウザー (プラグインをインストールできる IE など) が必要なのか、それをどのように行うのかはわかりません。それが私の質問です。

そこで、この問題を 3 つの可能性に絞り込みました。

1. 純粋な HTML、Javascript などを使用します。- iFrame の使用はほぼ完全に機能しますが、コンテンツが同じドメインにないため、iFrame の HTML にアクセスできません。

2. プロプライエタリ ブラウザを使用 (または作成) - Web ページから EXE を起動できる (または起動したくない) とは思いません。さらに、これ自体がかなり複雑に思えます。

3. プラグインを使用 (または作成) - おそらく使用を IE に制限します。IE プラグインは、私が見た他のプラグインに基づいて、私が望むことを実行できると思います。

私は Web 自動化およびスクリプト作成製品を使用したデスクトップ プログラミングの経験があります。

サーバー側で実行される ASP.NET COM コンポーネントがあるため、ユーザーにインターフェイスは表示されませんが、スクリプトに基づいて Web サイトをサイレントに埋めてスクレイピングするために使用できます。

また、ユーザー インターフェイスを表示し、スクリプトを実行して入力とスクレイピングを行う独自のブラウザーも備えています。ただし、これは EXE であるため、Web サイトから起動することはできません。

それらには、IE にアタッチするコンパニオン ポップアップ ウィンドウを追加する IE プラグインがあります。ブラウザに似ており、スクリプトを実行します。

質問 - これを行うことができます。見たことはありますが、メカニズムは何ですか? 私はIEプラグインに傾倒しています。

プラグインが答えなら、chrome には拡張機能がありますが、その可能性はありますか?