ウェブサイトからのテキスト抽出を可能にするアルゴリズムを探しています。私は「striphtml」、またはこれを可能にする何百ものライブラリのいずれかを意味するのではありません。
たとえば、ニュース記事の場合、見出しとすべてのテキストを識別したいのですが、コメントセクションなどは識別しません。
そのためのアルゴリズムはありますか？ありがとうございました！
質問する
4633 次
5 に答える
11
コンピュータサイエンスの文献では、この問題は通常、ページセグメンテーションまたはボイラープレート検出の問題と呼ばれています。浅いテキスト機能を使用したボイラープレート検出のレポートとそれに関連するブログ投稿を参照してください。また、問題に対処するためにブックマークされたいくつかのレポートとソフトウェアサイトがあります。また、このスタックオーバーフローの質問を参照してください。
于 2011-04-23T02:35:39.907 に答える
1
あなたがやろうとしていることは「コンテンツ抽出」と呼ばれています。うまく解決するのは驚くほど難しい問題であることが判明し、多くの素朴な解決策は非常にうまくいきません。
InstapaperとReadabilityはどちらもこれを解決する必要があり、それらの解決策を見ることで何かを学ぶことができます。また、どちらも利用できる可能性のあるサービスを提供します。おそらく、問題を外部委託して、APIに処理させることができます。:)
それができない場合、「htmlコンテンツ抽出」を検索すると、その主題に関する多数の論文を含む、非常に有用な結果が返されます。
于 2011-04-22T04:00:13.613 に答える
1
同様の記事抽出タスクを実行する利用可能なオープンソースツールがいくつかあります。 Gravity.comによってオープンソースであったhttps://github.com/jiminoc/goose
ウィキに関する情報と、表示できるソースがあります。さまざまな記事から抽出されたテキストを表示する単体テストは数十あります。
于 2011-05-08T16:06:31.733 に答える
0
「コンテンツの抽出」は非常に難しいトピックです。「メイン記事」のコンテンツを識別するための一般的な標準はありません（ schema.orgなどのクローラーがHTMLを読みやすくするためのいくつかのアプローチがありますが、これらはどれもあまり一般的に使用されていません）。
したがって、良い結果が必要な場合は、スクレイプする（ニュース）Webサイトごとに独自のXPathセレクターを定義するのがおそらく最善であることがわかります。HTMLコンテンツ抽出用のAPIがいくつかありますが、私が言ったように、すべてのサイトで機能するアルゴリズムを開発するのは非常に困難です。
使用できるいくつかのAPI：
alchemyapi.comdiffbot.com
ボイラーパイプ
-web.appspot.comaylien.comtextracto.com _
于 2016-09-30T17:00:08.593 に答える
-2
あなたの最善の策は、メタデータからどのような情報を取得できるかを研究し、優れたhtmlパーサーを作成することだと思います。oEmbedは優れた標準になる可能性があります=）
于 2018-04-23T21:52:04.523 に答える