Web ページからスクレイピングしたいタグを選択するための GUI を提供する多くの製品があります。(たとえば WebHarvy のようなもの)
DOM に到達するための HTML Agility Pack を見たことがあります。HTML ページ内の有用なコンテンツを自動的に検索し、必要な XPath を作成するための優れたライブラリまたはプロセスを誰かが知っているかどうかを確認したかっただけです。
Evernote と iOS が「記事」がページ上のどこにあるかを認識する方法に似ています。ただし、繰り返し領域とページネーションには理想的に機能します。