python - Newspaper3k は、抽出中に不適切な URL を除外します

Question

いくつかの助けを借りて ;) CNN ニュース Web サイトからタイトルとコンテンツをスクレイピングし、これを .csv ファイルに入れることができました。

URL を含むリスト (別のコードで抽出されたもの) には、不適切な URL が含まれています。このコードは非常に単純で、Web サイトをスキャンしてすべての URL を返すだけです。したがって、リストにはいくつかの悪い URL があります (例: http://cnn.com/date/2021-10-17 ) このリストを検索してそれらの悪い URL を手動で削除するのではなく、コードをスキップするように変更することでこれを解決できるかどうか疑問に思っていました悪い URL を見つけて、次の URL に進みます。

コード例:

import csv
from newspaper import Config
from newspaper import Article
from os.path import exists

USER_AGENT = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.15; rv:78.0) Gecko/20100101 Firefox/78.0'

config = Config()
config.browser_user_agent = USER_AGENT
config.request_timeout = 10

urls = ['https://www.cnn.com/2021/10/25/tech/facebook-papers/index.html', 'http://cnn.com/date/2021-10-17', 'https://www.cnn.com/entertainment/live-news/rust-shooting-alec-baldwin-10-25-21/h_257c62772a2b69cb37db397592971b58']
# the above normally would be where I refer to the .csv file with URLs
for url in urls:
    article = Article(url, config=config)
    article.download()
    article.parse()
    article_meta_data = article.meta_data

    file_exists = exists('cnn_extraction_results.csv')
    if not file_exists:
        with open('cnn_extraction_results.csv', 'w', newline='') as file:
            headers = ['article title', 'article text']
            writer = csv.DictWriter(file, delimiter=',', lineterminator='\n', fieldnames=headers)
            writer.writeheader()
            writer.writerow({'article title': article.title,
                             'article text': article.text})
    else:
        with open('cnn_extraction_results.csv', 'a', newline='') as file:
            headers = ['article title', 'article text']
            writer = csv.DictWriter(file, delimiter=',', lineterminator='\n', fieldnames=headers)
            writer.writerow({'article title': article.title,
                             'article text': article.text})