問題タブ [web-scraping]

Web データ マイニング (Web クローラーの開発、文字列操作など) に関連するタスクについて、C++、Java、Python、Ruby、PHP などのさまざまなプログラミング言語を比較する助​​けが必要です。私は PHP の経験が少しあります。この特定のタスクに対する PHP の利点は、単純な構文、詳細な文字列解析機能、ネットワーク機能、および移植性だと思いますが、他の言語とその長所と短所についてはあまり知りません。この特定のタスクに関連しています。

Webページ（株価）から動的データを取得できるようにしたい。ライブデータであるため、htmlコードはほとんど役に立たないことに気付く前に、htmlコードを取得することから始めました。特定のデータをキャプチャしようとしていますが、指定したWebページを処理するだけで、HTMLコードではなく、そのWebサイトからテキストが返されます。基本的に、ページ全体のコピーアンドペーストは素晴らしいでしょう..どんなアイデアでも本当にありがたいです！

perl、ruby の機械化に似たライブラリを探しています。

基本的に、.click()フォームボタンをクリックしたり、リンクに移動したりできます。

「オートマトン理論」についてscholar.google.comで引用された論文のトップ100のリストgrabTopResults(String f)を返すようなJava関数を書きたいと思います。grabTopResults("automata theory")

どの図書館が私の生活を楽にするかについて誰かが提案を持っていますか？

ありがとう！

ウェブサイトからいくつかのデータをスクラップしようとしています。私が書き込もうとしているスクリプトは、ページのコンテンツを取得する必要があります。

追加の順位と日付のすべてのオプションを通過するユーザーをシミュレートし、[実行]をクリックすることをシミュレートする必要があります。次に、データをフェッチした後、戻る機能を使用する必要があります。

今のところ、私は追加のスタンディングのためにこのオプションを選択しようとしています：

これが私の（貧弱な）試みです：

ただし、最初のフォームを選択する必要があるselect_form（nr = 0）では失敗します。

これはPythonによって返されるログです：

mechanizeホームページにすべての機能の適切な説明が見つかりませんでした。誰かが私にフォームと機械化を使用するための適切なチュートリアルを教えてくれるか、この特定の問題について私を助けてくれますか？

アンソニー

Web サイトから毎日の日の出/日の入り時刻を取得したいと思います。Python で Web コンテンツをスクレイピングすることは可能ですか? モジュールは何を使用していますか？利用可能なチュートリアルはありますか?

ASP.NET 出力をキャプチャして一時メモリとして保存し、アプリケーションで使用して比較できるようにする方法を教えてください。

例。

ASP出力のあるこのサイトがあります。申し訳ありませんが、サーバーへのアクセス権がありません。できることは、出力を表示することです。

ちなみに、このサイトは、ログインしているすべてのユーザーと、どのチャネルにいるユーザーのモニターでもあります。

出力例

私がやりたかったのは、この出力をキャプチャして、このように表示することです。

どこから始めればよいかわかりません。

Webスクレイピングのために、ログインページでの投稿変数の入力を自動化したいと考えています。ログインページを通過できれば、プロセスは際限なく改善されます。

次に、いくつかの機能を定期的に自動的に実行するようにスケジュールできます。(いくつかの CURL コマンドを実行しましたが、結果を取得できませんでした)

助けてくれてありがとう、

ランス

C＃ウィンドウフォームでWebスクレイパーを開発したいと思っています。私が達成しようとしていることは次のとおりです。

1. ユーザーからURLを取得します。
2. WINFormsのIEUIコントロール（埋め込みブラウザ）にWebページをロードします。
3. ユーザーがテキストを選択できるようにします（連続、小さい（50文字を超えない））。ロードされたWebページから。
4. ユーザーが場所（HTML DOMの場所）を永続化する場合は、DBに永続化する必要があります。これにより、ユーザーはその場所を使用して、次回のアクセス時にその場所のデータをフェッチできます。

ロードされたWebサイトが価格表サイトであり、見積もりレートが変化し続けると仮定すると、次回トラバースできるようにDOM階層を永続化するというアイデアがあります。

すべてのHTML要素にid属性があれば、これを行うことができます。idがnullの場合、これを実行できません。

誰かがこれについて有効なアイデアを提案できますか（可能であれば最小限のコードスニペット）？

あなたがいくつかのオンラインリソースを共有することができるとしても、それは役に立ちます。

ありがとう、

ビジェイ