私が達成しようとしていることを簡単に紹介します。
公開 Web サイトから毎月の値をスクレイピングする必要があります。例として、2014 年 5 月の特定のステータスについては、次のようになります。TOTAL 値は 224,481 です (ページの右下部分)。この値をキャプチャして、月ごとにデータベースに保存する必要があります。次の URL は、月ごとにパラメーターを変更して実行する必要があります。 パラメータ付きのVEEC Webサイト
これを実現するために、次のように CFHTTP を使用して HTML を取得しようとしJSOUP
ています。データベースに格納する前に、返された HTML から目的の値をスクレイピングします。
<cfset f_url = "https://www.veet.vic.gov.au/Public/PublicRegister/Search.aspx">
<cfhttp method="GET" url="#f_url#">
<cfhttpparam type="Header" name="Accept-Encoding" value="*">
<cfhttpparam type="Header" name="TE" value="deflate;q=0">
<cfhttpparam name="CreatedFrom" type="URL" value="#StartDate#">
<cfhttpparam name="CreatedTo" type="URL" value="#EndDate#">
<cfhttpparam name="Status" type="URL" value="PRP,PRV">
</cfhttp>
<cfdump var="#cfhttp#">
connection failure
コード スニペットを実行しようとすると、エラーが発生します。
同じことを行う別の方法があればアドバイスしてください。これは、開発側でデータを収集するためだけに実装する必要があり、本番環境での使用を意図したものではありません。
編集(質問を削除したくありませんでした):インターネットプロキシを使用してCFHTTPタグのWebサイトにアクセスし、機能させる必要がありました。事前に確認しなかったのは悪いことです。うまくいけば、それは将来誰かを助けるかもしれません。みんな、ありがとう。