問題タブ [website-monitoring]

私は、多くの Web サイトやサービスがほこりをかぶっていないことを確認する必要があります。現時点では、curl と URL のファイルを使用して、すべての応答が正しい (200 またはまれに 301) ことを確認する単純な 5 分間の cronjob に依存しています。

それはすべて基本的なレベルで機能します。より洗練されたオープンソース ツール (統計、応答時間、きれいなグラフ) に興味があります。何を使用していますか?

Web アプリが稼働中であることを確認するためにスケジュールできるソフトウェアを探しています。私は何年も前に HP オープン ビューを使用していましたが、かなり高価だったことを覚えています。オープン ソースか安価なものを探しています。

したがって、ログインしていくつかの簡単なアクションを実行し、フォームを送信して画面上のテキストを確認します。これは、Web アプリが正常に実行されていることを意味し、Web サイトがダウンしている場合はメールで通知します。

Selenium IDE を使用してテストを作成し、それを Ant スクリプトで自動化できますが、プログラミング以外の人が使用できる、より合理化されたソリューションを探しています。

助言がありますか？

ありがとう、スコッティ

私はこれが自由形式の質問であることを知っていますが、うまくいけば、スレッドがロックされる前にいくつかの良い答えが得られるでしょう...

Webサイトがクライアントの観点からオンラインであるかどうかをプログラムでチェックする（言語に依存しない）方法は何か疑問に思っています（サイト/サーバーに変更を加えることはできませんが、サイトの特定の動作に依存することはできます）。

各メソッドの結果は、サイトがアップ/ダウンしていることの確実性の尺度を提供するためにスタックできます。つまり、メソッドは、サイトがそれ自体でアップ/ダウンしているかどうかを明確に示す必要はありません。

'upness'をチェックするための一般的なテストは次のとおりです。

• サイトにpingを送信します（共有ホスティングの場合はあまりわかりません）
• http head / getリクエストを送信し、ステータスを確認します

その他、サイトが稼働して機能していることを確認するために考えることができます。

• 整形式のhtml応答、つまりhtml to htmlタグを受け取ったことを確認してください。サイトで問題が発生した場合、エラーが発生し、ページの残りの部分を書き込まずに終了する可能性があります（ただし、サイトはほとんどのエラーをより適切に処理する可能性があるため、それほど信頼できるわけではありません）仕方）

• 特定のコンテンツがページにあるかどうかを確認します。つまり、ページに常に存在するコンテンツ、またはエラーが発生した場合に常に存在するコンテンツがある可能性があります。

プログラム内からサイトが実際にアップ/ダウンしていて、正しく機能している/機能していないかどうかを判断するために使用できる他の方法を誰かが考えることができますか？

I am developing asp.net website for url monitoring. I looked around for open source tools and none of them provide restful APIs so that they can be called from my application. Are there any open source packages that I can directly use?

Thanks.

ウェブサイト（.net、php）、モバイルアプリ（ios、android）を監視することを提案できますか。グーグルで検索しましたが、最適な解決策を見つけることができません。

centos 6.5 にセレンをインストールし、それを PHP スクリプトの API 経由で使用したいと考えています。

Selenium Test スクリプトは別のシステムに記録され、それらの Selenium Test スクリプトは PHP への入力として提供されます。実行する方法？

URL の変更を監視するアプリケーションを作成しています。アプリケーション ロジックをプログラムするために、Google Apps Script と Google Sheet を使用しています。

私が考えた監視の仕組みについて説明します。まず、スクリプトは次の列を持つシートからデータを読み取ります。

URL : 監視したい URL を示します

初めて:​​ URL が分析されるのが初めてかどうかを示します。

変更:前回の分析時に変更が加えられたかどうかを示します。

HashValue: MD5 ハッシュを適用した後に分析された URL の HTML コード。

スクリプトの実行時に、シートの行の読み取りが開始されます。行ごとに:

1. URL が読み取られ、URLFetchApp メソッドが実行されて、その Web ページからの応答が取得されます。
2. 取得した回答に getContentText メソッドを適用して Web ページの HTML コードを取得し、変数に保存します。
3. HTML コードに MD5 ハッシュ アルゴリズムを適用し、それを変数に保存します。
4. URL が初めて分析される場合、変更が行われていないことを [変更] 列に示し (分析するのは初めてです)、変数の内容をハッシュ値と共に HashValue 列に保存します。 HTML コード。
5. URL が既に分析されている場合は、以前に登録された HashValue 値と現在取得されている値を比較します。
6. 値が異なる場合は、[変更] 列に変更があったことを示し、HashValue 列に新しいハッシュ値を保存します。

私はすでにコードをプログラムしました。また、一部の Web サイトで動作します。しかし、他の Web サイトでは機能しません。動作しなかった Web サイトの HTML コードを分析した後、オンライン テキスト コンパレーターを使用してコードの違いを探したところ、次のことがわかりました。

同じページを 2 回リロードすると、コンテンツが静的であってもコードが少し変化する Web サイトがあります。たとえば、変更できるのは、HTML タグに ID box-wrap-140 があり、ページを再度リロードすると ID が box-wrap-148 になることです。

したがって、実装されているスクリプトは、HTML コードが異なるため、変更が行われたことを検出します。多くのことを調査した後、この問題を解決する代替手段が見つからないため、タイトルの質問

PS: Web サイトがダウンしていない、404、301 などの応答コードが返されたなどの詳細は無視できます。これはすでにプログラムされており、正しく動作します。

PS2: 私の英語のレベルについて申し訳ありません。