web サイトで利用可能なすべてのリンク (Web 投稿) を取得したい。また、新しい投稿がウェブサイトに追加された場合、リンクを取得できるはずです。10 個の Web サイトのリストがあり、リンク抽出プロセスを定期的に実行する必要があります。
投稿リンクと追加された新しい投稿リンクのみを取得する方法を教えてください。
1 に答える
0
cronジョブによって定期的に呼び出されるphpスクリプトを作成することをお勧めします（phpについて言及したため）。スクリプト内でできること
curlオプション 1: 1 つの URL のすべてのコンテンツを自動的に取得するコマンドを定義します。（ポストメソッドでウェブサイトに情報を配信する必要がある場合は、より良いかもしれません。）
オプション 2:file_get_contents関数を使用してすべてのコンテンツを取得する
これらの結果を正規表現で解析して、関心のある部分を抽出できます (たとえば、 のようなものを検索します<div class=".post">...</div>)。その後、情報をデータベースに追加するか、情報が既に存在するかどうかを確認できます。
于 2015-09-15T07:22:44.107 に答える