問題タブ [portia]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
python-2.7 - Portia Scrapyドロップダウンリストにデフォルトのフィールド名を追加するには?
( https://github.com/scrapinghub/portia )から Portia をダウンロードし、Windows マシンに Portia をインストールしました。Portia を起動すると、ページに注釈を付けることができます。
新規作成オプションを使用して、必要に応じてフィールドを選択して名前を追加できます。
私の質問は、名前を入力する代わりに、ドロップダウンボックスから選択できるようにするために、デフォルトのフィールド名を追加する方法です。また、それは一般的です。
例えば、
ドロップダウンでは、次のようなフィールド名のリストが必要です
JobTitle、JobDescription、JobLocation
新しいオプションを作成する代わりに、デフォルトでファイル名を追加する方法を教えてください。
前もって感謝します。
python-2.7 - Portiaビジュアルスクレイピーで正規表現を使用するには?
Portia Web クローラーを使用して Web ページに注釈を付けることができます。私の質問は、データの抽出中に正規表現を使用する方法です。
例えば、
ページから場所ファイルを抽出しました
出力は次のようになります。
場所 : 場所 xyz,abc
しかし、必要なのは xyz,abc の値だけです。
私は解決策を探しましたが、それ以上の情報は得られませんでした。
Portia Scrapy の正規表現について説明していただけますか?
macos - OSX または Ubuntu に Portia をインストールしようとしています
誰かが私を助けることができますか？Portiaのインストールを何度も繰り返しました。twistd コマンドを使用している時点まではすべてうまくいき、次のようになります。
(portia)Matts-Mac-mini:slyd matt$ twistd -n slyd Traceback (most> recent call last): ファイル "/Users/matt/portia/bin/twistd"、14 行目、run() ファイル "/Users /matt/portia/lib/python2.7/site-packages/twisted/scripts/twistd.py"、27 行目、実行中の app.run(runApp, ServerOptions) ファイル"/Users/matt/portia/lib/python2. 7/site-packages/twisted/application/app.py"、642 行目、実行中の runApp(config) ファイル "/Users/matt/portia/lib/python2.7/site-packages/twisted/scripts/twistd.py "、23 行目、runApp _SomeApplicationRunner(config).run() ファイル "/Users/matt/portia/lib/python2.7/site-packages/twisted/application/app.py"、376 行目、run self. application = self.createOrGetApplication() ファイル "/Users/matt/portia/lib/python2.7/site-packages/twisted/application/app.py"、436 行目、createOrGetApplication ser = plg.makeService(self.config.subOptions) ファイル "/Users/matt/portia/portia/slyd/slyd/tap.py"、74 行目、makeService ルート = create_root(config) ファイル "/Users/matt/portia/portia/ slyd/slyd/tap.py"、41 行目、create_root から .projectspec インポート create_project_resource ファイル "/Users/matt/portia/portia/slyd/slyd/projectspec.py"、5 行目、slybot.validation.schema インポートからget_schema_validator
ImportError: slybot.validation.schema という名前のモジュールがありません。
また、正しいディレクトリ ([virtualenv-name]/portia/slyd) にいるにもかかわらず、「pip install -r requirements.txt」を実行しようとすると、requirements.txt ファイルが slyd ディレクトリにないことにも気付きましたが、 portia ディレクトリにあります。
私はここで夢中になっています。どんな助けも大歓迎です。
python - ポーシャはシンプルでスクレイピーなグラフィックですか?
ポルティアを試す前にこれを知りたいです。これが本当なら、自分で試す必要はありません。私はすでにスクレイピーに精通しているので、助けていただければ幸いです。ありがとう!XD
python - Portia の Spider ミドルウェアが呼び出されない
Scrapy での重複を無視するために、ミドルウェアの使用のコードを適応させました。
また、ミドルウェア モジュールを settings.py に追加しました。
process_request 関数は呼び出されません。私は settings.py のミドルウェア キーの値を変更して、SpiderletsMiddleware の前後に実行されるようにしました。ただし、例外とログ メッセージは出力に表示されません。
ミドルウェアが確実に呼び出されるようにするにはどうすればよいですか?
python-2.7 - スプラッシュを使って Portia の JS をサポートすることはできますか?
slybot でスプラッシュ ダウンロード middlware middlware を使用して portia で js をサポートすることは可能ですか?
docker 経由で portia とスプラッシュを接続しようとしています。ダウンロード スプラッシュ ミドルウェアを slybot パス "C:\portia-master\portia-master\slybot\slybot" にインポートする方法 また、このパスの setting.py にパスを設定する方法を教えてください