問題タブ [scraperwiki]

ScraperWikiでスクレイパーを作成しているときに、UTF8 でエンコードされた文字列を保存しようとすると、次のメッセージが繰り返し表示されました。

最終的に、試行錯誤と UnicodeDecodeError によって、ScraperWiki データストアが Unicode を想定しているように見えることがわかりました。

そのため、データストアに保存する直前に UTF-8 からデコードし、すべてを Unicode に変換しています。

これはエラーを回避しますが、賢明ですか? ScraperWiki データストアがサポートしているエンコーディングを確認できる人はいますか?

ありがとう！

ダウンロードしたRSSをlxmlでパースしたいのですが、UnicodeDecodeErrorの扱いがわからないのですが？

しかし、私はエラーが発生します:

ScraperWikiはどういうわけか自動的にスクレイピングをレート制限しますか、それともsleep（1 * random.random（））のようなものをループに追加する必要がありますか？

ユーザーは、スクレーパーの実行からこのメッセージを受け取っていました。

「終了ステータス1」とは何ですか？それは成功ですか、それとも失敗ですか？失敗した場合
、ログファイルはありますか？

スクレイパーウィキはスケジュールされた実行を停止することをどのように決定しますか? 実際の実行時間またはCPU時間に基づいていますか? または多分何か他のもの。

Mechanize がすべてのページをロードするのに 30 秒を必要とするサイトをスクレイピングしますが、ページを処理するために使用する CPU はほとんどないため、サーバーの遅さが大きな問題ではないかと思います。

私は、scraperwiki（http ：/ /scraperwiki.com/scrapers/food_standards_agency/）が、次の形式の「次の」ページのリンクをたどろうとすると問題が発生します。

フォームハンドラは次のようになります。

[次のリンク]を手動でクリックしたときのHTTPトレースでは、__ EVENTTARGETが空であると表示されますか？他のスクレーパーで見つけることができるすべてのベビーベッドは、次のページを処理する方法として__EVENTTARGETの操作を示しています。

確かに、スクレイプしたいページが次のページをどのようにロードするのかわかりませんか？スクレーパーに何を投げても、最初の結果ページをロードすることしかできません。（1ページあたりの結果数を変更できることも便利ですが、その方法もわかりません！）

それで、N>0の1+ N番目の結果ページをスクレイプする方法についてのアイデアはありますか？

スクレイパーウィキのビューを削除する方法はありますか? サイトのどこにもそれを行う方法が見つかりません。

Leveson Inquiryからのトランスクリプトを解析するスクレーパーを構築したいと考えています。これは、プレーンテキストとして次の形式になっています。

(完全な例)

最終的には、次のような構造の XML ファイルを作成したいと考えています。

…助けて？

(また、"MR BARR:" はある時点で単に "Q." に変わることにも注意してください。)

どうもありがとう！

代理キーを使用してテーブルを作成する方法を知っている人はいますか? 自動インクリメントのようなものを探します。これは、次に大きい一意の番号を主キーとして自動的に追加する大きな整数です。

テーブルの作成方法とレコードの追加方法を知る必要があります (できれば、scraperwiki.sqlite.save を使用)

ありがとう！

私はScraperWikiを試していましたが、昨日、liDOM内のすべてのリストを取得できました。ただし、現在は1回の反復しか実行していません。

これは私のコードです

私は実際にはPHPの人ではないので、明らかな何かが欠けている可能性があります。完全なソースはhttps://scraperwiki.com/scrapers/days_of_the_year/にあります