php - サイトphpからデータを抽出する

Question

私は取り組んでいるプロジェクトを持っています。バックエンドとして php と mysql を使用しています。問題は、1 万を超える製品のオンライン カタログを作成する必要があることです。それぞれに pdf ファイルが添付されています。1つずつ確認する方法はありません...専門家にアドバイスを求めるためにここにいます。拡張子が .jsp のサプライヤ Web ページからこのデータを取得するにはどうすればよいですか? この膨大な量のデータを 1 つずつ処理せずに抽出する方法はありますか? ありがとうございます。アドバイスをお待ちしております。

Answer 1

これは非常に悪い習慣です-それは遅いです、あなたの供給者は私が推測するそれを気に入らないでしょう、そしてあなたのコードは彼らのサイトの供給者のhtmlコードが変わるときはいつでもごみになります。

したがって、最良のアプローチは、APIが提供されている場合はそれを使用することです。他のサイトのhtmlコードを解析する必要がある場合は、cURLを試してみてください。

Answer 2

はい、製品情報についてはサプライヤーにお問い合わせください。彼らのウェブサイトをスクレイピングして再公開しても、彼らは面白くありません。

この膨大な量のデータを 1 つずつ処理せずに抽出する方法はありますか?

いいえ、すべての製品ページにアクセスする以外にこれを行う方法はありません。受信しないデータを保存することはできません。

Answer 3

サプライヤに、対話できるWebサービスまたはAPIがあるかどうかを尋ねます。