15

リクエスト（およびbs4）を使用して、サイトからコンテンツを自動的に取得しようとしています

Cookie を取得するスクリプトがあります。

def getCookies(self):
    username = 'username'
    password = 'password'
    URL = 'logonURL'
    r = requests.get(URL, auth=('username', 'password'))
    cookies = r.cookies

Cookie のダンプは次のようになります。

<<class 'requests.cookies.RequestsCookieJar'>[<Cookie ASP.NET_SessionId=yqokjr55ezarqbijyrwnov45 for URL.com/>, <Cookie BIGipServerPE_Journals.lww.com_80=1440336906.20480.0000 for URL.com/>, <Cookie JournalsLockCookie=id=a5720750-3f20-4207-a500-93ae4389213c&ip=IP address for URL.com/>]>

しかし、Cookie オブジェクトを次の URL に渡すと、次のようになります。

 soup = Soup(s.get(URL, cookies = cookies).content)

うまくいかない - スープをダンプすることで、ウェブサーバーに資格情報を適切に与えていないことがわかります

リクエストセッションを実行してみました:

def getCookies(self):
    self.s = requests.session()
    username = 'username'
    password = 'password'
    URL = 'logURL'
    r = self.s.get(URL, auth=('username', 'password'))

そして私は同じように喜びを感じません。

2 ページ目にアクセスしたときに FF の liveHttp 経由でヘッダーを確認したところ、非常に異なるフォームが表示されました。

Cookie: WT_FPC=id=264b0aa85e0247eb4f11355304127862:lv=1355317068013:ss=1355314918680; UserInfo=Username=username; BIGipServerPE_Journals.lww.com_80=1423559690.20480.0000; PlatformAuthCookie=true; Institution=ReferrerUrl=http://logonURL.com/?wa=wsignin1.0&wtrealm=urn:adis&wctx=http://URL.com/_layouts/Authenticate.aspx?Source=%252fpecnews%252ftoc%252f2012%252f06440&token=method|ExpireAbsolute; counterSessionGuidId=6e2bd57f-b6da-4dd4-bcb0-742428e08b5e; MyListsRefresh=12/13/2012 12:59:04 AM; ASP.NET_SessionId=40a04p45zppozc45wbadah45; JournalsLockCookie=id=85d1f38f-dcbb-476a-bc2e-92f7ac1ae493&ip=10.204.217.84; FedAuth=77u/PD94bWwgdmVyc2lvbj0iMS4wIiBlbmNvZGluZz0idXRmLTgiPz48U2VjdXJpdHlDb250ZXh0VG9rZW4gcDE6SWQ9Il9mMGU5N2M3Zi1jNzQ5LTQ4ZjktYTUxNS1mODNlYjJiNGNlYzUtNEU1MDQzOEY0RTk5QURCNDFBQTA0Mjc0RDE5QzREMEEiIHhtbG5zOnAxPSJodHRwOi8vZG9jcy5vYXNpcy1vcGVuLm9yZy93c3MvMjAwNC8wMS9vYXNpcy0yMDA0MDEtd3NzLXdzc2VjdXJpdHktdXRpbGl0eS0xLjAueHNkIiB4bWxucz0iaHR0cDovL2RvY3Mub2FzaXMtb3Blbi5vcmcvd3Mtc3gvd3Mtc2VjdXJlY29udmVyc2F0aW9uLzIwMDUxMiI+PElkZW50aWZpZXI+dXJuOnV1aWQ6ZjJmNGY5MGItMmE4Yy00OTdlLTkwNzktY2EwYjM3MTBkN2I1PC9JZGVudGlmaWVyPjxJbnN0YW5jZT51cm46dXVpZDo2NzMxN2U5Ny1lMWQ3LTQ2YzUtOTg2OC05ZGJhYjA3NDkzOWY8L0luc3RhbmNlPjwvU2VjdXJpdHlDb250ZXh0VG9rZW4+

明らかな理由から、質問のユーザー名、パスワード、および URL を編集しました。

明らかな何かが欠けていますか？Cookieをキャプチャする別の/適切な方法はありますか-現在使用している方法は機能していません。

編集：

これは、セッション コードの自立バージョンです。

s = requests.session()
username = 'username'
password = 'password'
URL = 'logonURL.aspx'
r = s.get(URL, auth=('username', 'password'))
URL = r"URL.aspx"
soup = Soup(s.get(URL).content)

スープのダンプを読むと、アクセス権がないことを html で確認できます。この文字列は、ログインしていないときにブラウザからのみ表示されます。

4

2 に答える 2

23

同様の問題があり、この質問で助けが見つかりました。セッション jar は空で、実際にセッションを使用するために必要な Cookie を取得しました。

session = requests.session()
p = session.post("http://example.com", {'user':user,'password':password})
print 'headers', p.headers
print 'cookies', requests.utils.dict_from_cookiejar(session.cookies)
print 'html',  p.text
于 2013-10-02T03:04:17.350 に答える
7

関連する cookiejar ではなく、セッションオブジェクト全体を再利用する必要があります。self.sあなたが行うすべての要求に使用します。

セッションを再利用してもリクエストが失敗する場合は、Cookie を適切に返していないためではなく、別の理由で失敗している可能性があります。

使用する必要がある場合auth=('username', 'password')、認証は Cookie ベースではなく HTTPAuth ベースであることに注意してください。すべての呼び出しに対して同じ認証を渡す必要があります。requests セッションもあなたのためにそれを行うことができます:

s = requests.session(auth=('username', 'password'))

ただし、ログイン ページがユーザー名とパスワード フィールドを持つフォームの場合は、代わりにフォーム ターゲットを呼び出す必要があります。フォームが POST か GET かを確認し、フィールド名を確認します。

s.post(loginTarget, {usernamefield=username, passwordfield=password, otherfield=othervalue})

HTTP 認証をまったく使用しません。

于 2012-12-13T07:11:09.100 に答える