WebHarvestを使用して、ログインが必要なサイトからデータをフェッチしています。
これは次のように設定されています。
ページ1=ログインページ
ページ2=ログイン検証ページ
ページ3=統計ページ
2ページ目にCookieが設定されています。Firebugでページ2のオープニングを監視すると、次のヘッダーが表示されます。
Connection Keep-Alive
Content-Type text/html; charset=UTF-8
Date Tue, 23 Oct 2012 18:25:12 GMT
Keep-Alive timeout=15, max=100
Server Apache/2.0.64 (Win32) JRun/4.0 SVN/1.3.2 DAV/2
Set-Cookie SESSION=hej123;expires=Thu, 16-Oct-2042 18:25:12 GMT;path=/
Transfer-Encoding chunked
WebHarvestで同じページを呼び出すと、次のヘッダーのみが表示されます。
Date=Tue, 23 Oct 2012 18:31:51 GMT
Server=Apache/2.0.64 (Win32) JRun/4.0 SVN/1.3.2 DAV/2
Transfer-Encoding=chunked
Content-Type=text/html; charset=UTF-8
WebHarvestでは3つのヘッダー(Set-Cookie、Connection、Keep-Alive)が見つからないようです。ページ1、2、および3はダミーであるため、実際の検証は行われません。Cookieは、ページ2のサーバー側で常に設定されます。
現在使用しているWebHarvestコードは次のとおりです。
<var-def name="content2">
<html-to-xml>
<http method="post" url="http://myurl.com/page2.cfm">
<http-param name="Login">sigge</http-param>
<http-param name="Password">hej123</http-param>
<http-param name="doLogin">Logga in</http-param>
<loop item="currField">
<list>
<var name="ctxtNewInputs" />
</list>
<body>
<script><![CDATA[
item = (NvPair) currField.getWrappedObject();
SetContextVar("itemName", item.name);
SetContextVar("itemValue", item.value);
]]></script>
<http-param name="${item.name}"><var name="itemValue" /></http-param>
</body>
</loop>
<script><![CDATA[
String keys="";
for(int i=0;i<http.headers.length;i++) {
keys+=(http.headers[i].key + "=" + http.headers[i].value +"\n---\n");
}
SetContextVar("myCookie", keys);
]]></script>
<file action="write" path="c:/kaka.txt">
<var name="myCookie"/>
</file>
</http>
</html-to-xml>
</var-def>
編集:チェックすると、プログラムでhttpヘッダーが見つからない場合でも、WebHarvestにCookieが設定されていることに気付きました。一部の応答ヘッダーが使用から隠されている可能性はありますか?
この問題の回避策を知っている人はいますか?
ありがとう、よろしくお願いします、SiggeLund