Facebook に新しい URL をスクレイピングさせようとすると、404 エラーが発生します。何らかの理由でこの 404 の不正な要求コードを返し続ける数日前のページがあります。
1 週間以上前の古いページは問題なく読み込まれます。
例 - 古いページの URL mattlambert.info/blog/pride-is-rust-on-metal/ 結果 - 応答コード: 200 (どうやらここには 1 つのリンクしか投稿できないため、http : // を削除しました。)
例 - 新しいページの URL http://mattlambert.info/blog/the-pharisee-in-me/ 結果 - 応答コード: 404
どちらのページのヘッダーにも 404 応答コードはありません。ただし、スクレイピングできるのは古いものだけです。
再現手順: オブジェクト デバッガーに移動
「Input URL、Access Token、または Open Graph Action ID」フィールドに両方の URL を入力します。
例 - 古いページの URL 結果 - 応答コード: 200
例 - 新しいページの URL 結果 - 応答コード: 404
予想される動作: 両方のページが応答コード 200 を返す必要があります。両方の URL にアクセスして、両方が機能していることを確認できます。各ページのソースを表示すると、これを引き起こすヘッダーに何もないことが明らかです。実際の動作: 過去数日間に作成した新しいブログ投稿でのみ問題が発生します。Linter ツールにデータがないと表示されます。
何か案は？