javascript - casperjs を使用して Web ページをスクレイピング中に取得したテーブル データを保存する

Question

casperjs を使用して Web ページをスクレイピングしているときに取得したテーブル データを保存する最良の方法はどれですか?

1. json オブジェクトを使用し、シリアライズ後にファイルとして保存します。

2. PHPへのajaxリクエストを使用してから、それをmysql dbに保存します。

Answer 1

簡単にするために、CasperJS をデータを取得して別の言語で処理する方法と見なします。オプション #1 を使用します。データを JSON 形式で取得し、後で作業するためにファイルに保存します。

これを行うには、PhantomJS が提供するファイル システム APIを使用できます。これをCasperJS の cli インターフェイスと組み合わせて、スクリプトに引数を渡すこともできます (たとえば、書き込み先の一時ファイル)。

これらすべてを処理するスクリプトは次のようになります。

1. 一時ファイル パスを取得mktempします (Linux システムの場合)。
2. その一時ファイル パスを引数として渡して、CasperJS スクリプトを呼び出します。
3. データを取得し、ファイル システム API を使用してそのファイルに書き込み、終了します。
4. ファイルを読み込んで作業し（データベースに保存するなど）、一時ファイルを削除します。