問題タブ [scrapinghub]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票する
0 に答える
137 参照

python-2.7 - スプラッシュを使って Portia の JS をサポートすることはできますか?

slybot でスプラッシュ ダウンロード middlware middlware を使用して portia で js をサポートすることは可能ですか?

docker 経由で portia とスプラッシュを接続しようとしています。ダウンロード スプラッシュ ミドルウェアを slybot パス "C:\portia-master\portia-master\slybot\slybot" にインポートする方法 また、このパスの setting.py にパスを設定する方法を教えてください

0 投票する
1 に答える
1408 参照

web-crawler - スクレイピングハブからスパイダーを削除する

私はスクレイピングハブの新規ユーザーです。私はすでにグーグルで検索し、スクレイピングハブのドキュメントを読んでいましたが、プロジェクトからのスパイダーの削除に関する情報は見つかりませんでした. それは可能ですか?スパイダーを置き換えたくありません。scrapinghub スパイダー リストから削除/削除したいです。

0 投票する
1 に答える
429 参照

mongodb - スクレイピングハブ スパイダーに設定を追加する

私は、scrapinghub プラットフォームのスパイダーで mongodb を有効にしようとしています。このためには、UI の「EXTENSIONS」設定で拡張機能を有効にする必要があります。しかし、スパイダーの実行中に、次のエラーが発生します。

そして、私の設定は次のとおりです。

この設定を削除すると、以下のエラーが発生します。

そして設定は以下の通りです。

これが心配なのは、両方の設定がローカルの Scrapyd で適切に機能することです。

0 投票する
1 に答える
1313 参照

mysql - ScrapingHub とリモートデータベース

私はスクレイピーでスパイダーを作成しています。MySQL データベースを使用してスパイダーで start_urls を取得したいと考えています。ここで、scrapy-cloud をリモート データベースに接続できるかどうかを知りたいですか?

0 投票する
1 に答える
76 参照

python - Portia の異なるフィールドに同じテキストに注釈を付ける方法は?

単一のhtmlタグにある3つの個別のフィールドに3行あるコンテンツに注釈を付けたいです。
部分アノテーション方式でやってみました。ただし、一部のコンテンツには 2 行しかありません (このシナリオでは部分的な注釈は機能しません)
。コンテンツに注釈を付けるにはどうすればよいですか?

0 投票する
1 に答える
234 参照

python - Egg を Scrapinghub にデプロイする

プロジェクトをスクレイピング ハブにデプロイしましたが、スクレイピング ハブがツイスト ライブラリの古いバージョンを使用しているため、スパイダーが機能しません。プロジェクトは私のローカル マシンで正常に動作しています。とにかく、ツイストされた更新バージョンの卵を作成して、スクレイピング ハブにデプロイすることはできますか。

0 投票する
1 に答える
70 参照

scrapinghub - Scrapinghub デプロイ エラー: 非終了ステータス 1

プロジェクトをデプロイしようとすると、次のエラー メッセージが表示されますが、その理由がよくわかりません:エラー ログ