問題タブ [scrape]

Facebook が私のページをスクレイピングせず、デバッグ/リンター ツールがスクレイピングできない理由を誰か教えてもらえますか? 私は検索して検索しましたが、それを修正する方法が見つかりません。私が知る限り、すべての og:tags とスクリプトは正しく実装されています。

ページはhttp://www.coincident.dkにあります

デバッグ URL は次のとおりです: http://developers.facebook.com/tools/debug/og/object?q=http%3A%2F%2Fwww.coincident.dk

目標：cURLを使用してiframe内の「パリ」という単語を削りたい。

iframeを含む単純なページがあるとします。

iframeページ：

私のcURLスクリプト：

結果=何もありません！

誰かが私にフランスの首都を見つけるのを手伝ってもらえますか？！;）

次の例が必要です：

1. iframeURLの解析/取得
2. URLをカールする（index.htmlページで行ったように）
3. 文字列「Paris」の解析

ありがとう！

私はWebスクレイプに不慣れであり、仕事のためにすばやく学ぶ必要があります。取得する必要のあるコンテンツがメインページの各レコードに一意にネストされ（300回以上）、子ページの一部のフィールドがタグに含まれておらず、少し混乱しているため、クライアントのWebページをスクレイピングするのに問題があります。次の情報を取得するための最良のロジックは何でしょうか。（また、無料で調べる価値のある新しいスクレイプツールを誰かが知っているなら、それは素晴らしいことです。親ページのすべてのレコードを取得できます。各レコードをホップしてアクセスする方法がわかりません。これは子ページ情報であり、親ページの次の行に移動する前に取得します。

私は iOS 開発が初めてで、Web サイト (HTML) をスクレイピングできるアプリを作成しようとしています。Google のスクレイピングは単なる例です。もう少し複雑なものをスクレイピングする予定です...

私のコードは次のとおりです。

NSLog問題は、何かが機能するかどうかを確認するために (経由で) コンソールに書き込もうとするとエラーが発生することです。私が得るエラーは「フォーマット文字列で使用されていないデータ引数」です

私はインターネット全体を検索しましたが、役に立ちませんでした。以前のコードが正しいかどうかを確認するために NSLog をコメントアウトすると、宣言されているが使用されていない NSlog (h3Tag) のすぐ上の変数に関するエラーが発生します。

どんな助けでも大歓迎です...

また、HTMLをスクレイピングする他の方法にもオープンです...

DOM_Document Xpathを使用して逆方向に検索する方法はありますか（ページの最後から上からではなく上に移動しますか？）そうであれば、これをどのように行いますか？

私はウェブサイトのかすり傷をしている。（以下にリンクされています）。 http://www.sturmfh.com/obit-display.jhtml?DB=update/obits/dbase&DO=display&ID=1189477693_24578

訃報の3つの段落だけを削りたい。だから私は最後から始めて上に移動するのが最も簡単だと思いました。

HTMLでは、次のように表示されます。

phpを使用してそのコンテンツをスクレイプすると、mysqldbに次のように表示されます。

1行で表示され、文字列/nまたは/rがなく、mysqldbで適切な間隔/改行を表示する必要があります。すべてのステップで改行が存在することを確認し、htmlからstringに移動し、次にstringからmysqlに移動する方法を知っておくと便利です。

mysql dbに接続してテーブルを作成できましたが、データがなく、何が欠落しているか、間違っているのか知りたいですか？以下に関数コードを投稿しました。エコーカウントが確認され、Poems.csvもチェックして空白でないことを確認しました。

最初の関数はこれです

最後の関数は

この一例のようなエラーが発生します

'Salve magna parens frugum Saturnia tellus, Magna virm! tibi res antiqu laudis et artis Aggredior, sanctos ausus recludere fontes. 処女。ゲオル。2. 1 あなた、私の主よ、田舎の影が賞賛する間、 2 そしてブリタニアの公職から引退します、 3 もはや、彼女の恩知らずの息子たちを喜ばせるために、 4 彼らの利益のためにあなたの安らぎを犠牲にします。5 私は私の運命が運ぶ外国の領域へ、 6 不滅の産卵が実り多い国を通り抜け、 7 柔らかい海

ブリタニアの ' はエスケープされません

「または\」にする必要があるかどうかわかりません

しかし、私はこのエラーを解決する方法を知りたいと思います.SQL dbにすべてを書き込むことができます.

Facebook は、広告プラットフォームを介して人口統計に関するデータを提供しています。スクレイピングする方法 (Python を使用)?

1.) http://www.facebook.com/ads/create/にアクセスします。

2.) フォームに記入する

3.) 今、データがあります

サンプル画像を参照してください: http://www.webdistortion.com/wp-content/uploads/2010/10/fb4.jpg (私は新しいユーザーなので、画像を投稿できません)

問題：それをこする方法は？

私のアイデア:

1.) 機械化を使用 - フォームに入力することは可能かもしれませんが、推定数 (例では 112,960) がソース コードに表示されないため、解析できません => 他のトリックを行う必要がありますが、 ?

2.) セレン (または風車) を使用 - 私の記録は次のとおりです: facebook.com を開く --> 広告をクリックする --> 広告の作成をクリックする --> ...

残念ながら、これはすでに失敗しています。ログ：

[info] 実行中: |clickAndWait | link=広告 | | | [エラー] isNewPageLoaded が古い pageLoadError を検出しました: エラー: プロパティ Location.href を取得するための >> のアクセス許可が拒否されました [エラー] プロパティ Location.href を取得するためのアクセス許可が拒否されました [info] 実行中: |clickAndWait | clickAndWait | css=span.uiButtonText | | | [エラー] 予期しない例外: fileName -> chrome://selenium-ide/content/selenium-core/scripts/selenium-browserbot.js、lineNumber -> 840

このデータをスクレイピングできるという証拠があります: http://www.checkfacebook.com/

問題を解決することは、データ自体よりも興味深いものです (もちろん、このデータは確かに興味深いものです)。解決策があることは知っていますが、何も思いつきません。それは私を殺しています、助けてください。