request-promisegithub url を取得するために使用しようとしていますが、ブラウザーで動作しますが、node.js 経由で 404 が返されます。ヘッダーを正しく設定していないかどうかはわかりません。
const rp = require('request-promise');
const result = await rp.get('https://github.com/nodejs/node/pull/21140');
// result.statusCode is 404 here
これはほんの一例です。目標は、ドメインに関係なくリンクが壊れているかどうかをチェックするチェッカー サービスを構築することです。