python - レンディングクラブのログインによるWebスクレイピング

Question

レンディングクラブのダウンロードデータのURL欄から現在のローンノートのステータスをスクレイピングしようとしています。たとえば、https://lendingclub.com/browse/loanDetail.action?loan_id=104046830 の場合、情報を抽出するにはログインが必要です。

ログイン セッションを作成する手順に従いましたが、正常にログインできないようです。結果に正しいコードが含まれていません。誰かが問題を特定するのを手伝ってくれますか?

USERNAME = "username"
PASSWORD = "password"

LOGIN_URL = "https://www.lendingclub.com/auth/login?"

loan_id=96490539

URL = "https://lendingclub.com/browse/loanDetail.action?loan_id=96490539"

def main():
    session_requests = requests.session()

    # Get login csrf token
    result = session_requests.get(LOGIN_URL)
    tree = html.fromstring(result.text)
    authenticity_token = tree.xpath("//meta[@name='csrf-token']/@content")[0]

    # Create payload
    payload = {
        "login_email": USERNAME, 
        "login_password": PASSWORD, 
        "csrf-token": authenticity_token
    }

    # Perform login
    result = session_requests.post(LOGIN_URL, data = payload, headers = dict(referer = LOGIN_URL))

    # Scrape url
    result = session_requests.get(URL, headers = dict(referer = URL))
    return result