1

csv ファイル内に関連する doi を含む記事のリンクが約 1000 個あり、これらの論文をダウンロードする必要があります。

私は次の方法で試しました:

List_dois = [""] #here I have inserted the list of 1000 doi

out = 'out_folder'
logging.basicConfig(filename='myapp.log', level=logging.INFO)
for doi in List_dois:
    try:
        SciHub(doi, out).download(choose_scihub_url_index=3)
        time.sleep(10)
    except:
        logging.info("Error!", sys.exc_info()[0], doi)

しかし、約 10 回のダウンロードの後、次のエラーが生成されます。

Traceback (most recent call last):
  File "/home/username/PycharmProjects/pythonProject3/main.py", line 65, in <module>
    sci = SciHub(doi, out).download(choose_scihub_url_index=3)
  File "/home/username/PycharmProjects/pythonProject3/venv/lib/python3.8/site-packages/scidownl/scihub.py", line 90, in download
    self.download_pdf(pdf)
  File "/home/username/PycharmProjects/pythonProject3/venv/lib/python3.8/site-packages/scidownl/scihub.py", line 147, in download_pdf
    if self.is_captcha_page(res):
  File "/home/usernamePycharmProjects/pythonProject3/venv/lib/python3.8/site-packages/scidownl/scihub.py", line 184, in is_captcha_page
    return 'must-revalidate' in res.headers['Cache-Control']
  File "/home/username/PycharmProjects/pythonProject3/venv/lib/python3.8/site-packages/requests/structures.py", line 54, in getitem
    return self._store[key.lower()][1]
KeyError: 'cache-control'

どうすれば問題を解決できますか? スリープ時間をあまり増やしたくありません。そうしないと、操作が非常に長くなりすぎます...

4

0 に答える 0