問題タブ [goutte]

私は Web サイトのクロールに取り組んでおり、これまでのところ Goutte で HTML を解析するのに問題はありません。しかし、Web サイトから JSON を取得する必要がありますが、Cookie の管理のために、これを行いたくありません。うまくいきfile_get_contents()ません。

純粋な cURL を使用できますが、この場合は Goutte を使用したいだけで、他のライブラリは使用したくありません。

Goutteを介してテキストのみを解析できる方法はありますか、それとも古き良き方法でこれを行う必要がありますか?

ありがとうございました。

テキストエリアを含むいくつかの入力要素を含むフォームを含むページがあります。これらの入力フィールドには、いくつかの値が入力されています。このページ全体を、エンティティの編集ページと考えてください。Textarea には、通常のブラウザ (firefox や chrome など) 内で適切に表示される XML 文字列が含まれており、次のようになります。

しかし、goutte mink ドライバーでテスト ケースを実行すると、ページが読み込まれ、textarea の値が次のように特殊文字でエンコードされます。

そして、送信ボタンを押すと、混乱がサーバーに送信され、最初の正しいxmlの代わりに保存されます。一切触れませんのでご了承ください。ページを読み込んで送信ボタンを押すだけで、すべてが台無しになります。これは痛風でのみ発生しますが、たとえば selenium2 では発生しません。

問題は、これらの html エンティティを goutte に自動的に解釈させ、エンコードされた混乱ではなく、正しいデータとして送信するにはどうすればよいですか?

ホームページでの検索テストは問題なく動作します。しかし、送信がどのように機能し、どのようにデバッグするのかわかりません。それが私が持っているものです：

behat.yml

検索機能

バッシュ

したがって、アドレスはまだ「/」であり、フォームが送信されなかったことを意味します。

Goutte は、この目的に適していませんか? それとも私の奇妙な設定ですか（「/」はsymfony2によって提供されていないため、サイトの他の部分は提供されています）？

更新：

BroserKit/Client 内からのデバッグは、フォームが送信されるはずの URI が間違っていることを示し、404 を返します。詳細モードでの Behat はそれを示しません。

上記のコードを実行すると、「アクティブなクラス スコープがない場合、parent:: にアクセスできません」というエラーが表示されます。では、Goutte から Guzzle のプロパティにアクセスするにはどうすればよいでしょうか?

Goutte から Guzzle Response オブジェクトにアクセスしようとしています。そのオブジェクトには、私が使いたい素敵なメソッドがあるからです。たとえば、getEffectiveUrl です。

私が見る限り、コードをハッキングせずにそれを行う方法はありません。

または、応答オブジェクトにアクセスせずに、最後にリダイレクトされた URL を goutte から取得する方法はありますか?

PHP で Play ストア レビュー スクレーパーを開発しようとしています。この URLhttps://play.google.com/store/getreviewsに POST リクエストを送信する必要があります。

私はGoutteライブラリを使用していますが、これが私のコードです:

問題は、リクエストが何も返さないことです。すでにこの問題に直面して解決した人はいますか?

私は、Guzzle、Symfony DomCrawler、および CssSelector を 1 つのパッケージに組み合わせた Symfony の Goutte ライブラリを使用して、かなり単純な HTML テーブルをスクレイピングしています。しかし、私はそれが信じられないほど遅いと感じています。

ページが読み込まれると、通常、20 行のテーブルを処理するのに約 12 ～ 14 秒かかります。確かにこれは長すぎますか？

以前に DOM 解析ライブラリを使用したことがあり、このような速度低下に遭遇したことはありません。私は何か間違ったことをしていますか、それともGoutteは非常に遅いですか?

理想的には、画像ビューアでスクリーンショットを自動的に開くこともできます。

ブラウザーで開くことができるように、HTML をファイルに保存する必要があります。

Goutte を使用してメタ ディスクリプション、メタ キーワード、ロボット コンテンツからコンテンツを取得する方法を教えてください。また、どのようにターゲットを設定でき<link rel="stylesheet" href="">ます<script>か?

<title>以下は、コンテンツを取得するために使用した PHP です。

ここにGoutteへのリンクがあります - https://github.com/fabpot/goutte