c++ - C++スクレイピングウェブ

Question

私はしばらくの間、C++でWebサイトを簡単にスクレイピングする方法を見つけようとしました。cURLライブラリに出くわしましたが、正しくインストールできないため、別の方法を試してみます。

誰かが方法を知っていますか？C ++を使用してWin32にインストールする方法の完全な説明が続く場合、cURLの使用は許容できる答えです。

どういうわけか簡単にできますか、それともC ++では不可能な作業ですか？もしそうなら、私もこれまで使用したことがありませんが、C＃の使用に挑戦する方が簡単でしょうか？

Answer 1

Vlad Lazarenko がコメントとして投稿したように、cURL の公式インストール ガイドがインストールに役立ちます。

それでも動作しない場合は、いつでも自分で HTTP を実装できます。非常に複雑なプロトコルではありません。Winsock を使用してソケットを作成し、ポート 80 で Web サーバーに接続して、次の文字列を送信するだけです。

"GET /example.html HTTP/1.1\r\n"
"Host: www.example.com\r\n"
"\r\n"

Web サーバーは独自の HTTP ヘッダーで応答し、その後に example.html のコンテンツ (またはエラー メッセージ) が続きます。

C# に関するあなたの質問について: Web スクレイパーを C++ で実装するか C# で実装するかを選択する必要がある場合は、後者を選択します。HTTP サポートと、すぐに使用できるはるかに優れた文字列処理機能が付属しているためです。ライブラリ。ただし、これは、1. 私と私のチームが両方の言語を同等によく知っていること、および 2. どちらが C++ を指しているかわからない要件がないことを前提としています。

Answer 2

Web スクレイピングを行っている場合、C++ はおそらく最適な言語ではありません。C++ はパフォーマンスに優れた低レベル言語ですが、このようなタスクの場合、ソリューションにたどり着くまでに不必要に時間がかかります。Python とurllib2ライブラリ、または Perl や Ruby などの他のスクリプト言語を調べてください。