問題タブ [feedparser]

私がやりたいことは、3 つの RSS フィードを 1 つに混ぜ合わせ、重複を (タイトルに基づいて) 削除し、アイテムを公開日で並べ替えることだけです。だから私はこのパイプ ( http://pipes.yahoo.com/nerdvanagr/olympiacosbc ) を作成しましたが、これは動作を拒否しているだけです: たとえば、4 番目と 7 番目のアイテムはほぼ同じタイトルなので、それらは表示されるべきではありません。何が間違っている可能性がありますか？

編集:一般的な問題は安定性です。動作する場合もあれば、動作しない場合もあります...

ここで別の問題があります。フィードからイベントの更新を表示する iPhone アプリを開発する必要があります。

フィード リストが大きすぎる場合 (つまり、xml サイズ)、結果を返すのに非常に長い時間がかかりました。その代わりに、欲しいものだけを手に入れることができます。

例: http://www.ted.com/talks/rss

これはすべてのトップ ted トークを返しますが、ここではhttp://www.ted.com/talks/rss?~3/6dqCdBTpEn0/1019のようなトーク ビデオ ID に基づいて 1 つのトークのみを読むことができます。

私の NSXMLParser は、この文字列で壊れます:

私はこのようにそれを解析しました、希望は正しい方法です:

それは私を返します：

str : AAA
str : -
str : BCDEFGQWERTYUIO

しかし、私は単一の文字列を返したい:

str : AAA - BCDEFGQWERTYUIO

タイトルが正しいから。

何か案が？

ありがとう。

Universal Feed Parserを使用して、DjangoWebサイトの外部フィードからコンテンツを取得しようとしています。たとえば、ユーザーがフィードではないURLを指定した場合など、ユーザーエラー処理が必要です。feedparserが誤った入力にどのように応答するかを試したところ、feedparserが例外をまったくスローしないことに驚きました。たとえば、HTMLコンテンツでは、HTMLコードからいくつかの情報を解析しようとし、存在しないドメインでは、ほとんど空の辞書を返します。

その他の誤った入力は、返されたディクショナリのstatus_codeまたはの値に現れます。namespaces

それで、無限のカスケードに頼ることなく、正気のエラーチェックを行うための最良のアプローチはif .. elif .. elif ...何ですか？

私はこのフィードhttp://feeds.bbci.co.uk/news/rss.xmlを使用しており、すべての media:thumbnail エントリを取得したいと考えています。つまり、すべての画像

エントリには、RSS に次のようなものがあります。

情報はありますが、どうすれば入手できますか？

(feedparser の最新バージョンの feedparser. version -> '4.2-pre-294-svn' を使用しています)

次のように、Google App Engine の遅延タスクで feedparser を使用しています。

そしてparse_dk_indeed_com、次のコード スニペットがあります。

asset.url をログに記録すると、有効な URL が返され、フィードにアイテムが含まれていることがわかります。しかし、ログに記録len(d['entries'])すると0が返されますか? ノーズテストを使用して同じスニペットを実行すると、次のテストに合格します。

私は何が欠けていますか？

フィード URL を Google リーダーまたはデスクトップ フィード アグリゲーターに追加すると、良い結果が得られます。URL は次のとおりです。

http://estaticos03.marca.com/rss/futbol_1adivision.xml

しかし、スクリプト (python スクリプト、feedparser ライブラリを使用) から同じ URL をフェッチすると、同じ結果に対してわずかに異なるコンテンツが得られます (たとえば、各エントリのタイトルは異なり、すべて大文字です)。

私のような人々が自分のプロジェクトのコンテンツを解析するのを思いとどまらせるために、サーバー側で何かが行われていると思います (フィードは人気のあるサッカー新聞からのものです)。いくつかのユーザー エージェント (Google リーダーなど) を渡そうとしましたが、まだうまくいかないので、IP もチェックするのでしょうか? 私は本当に混乱しています。

なぜこれが私に起こっているのですか？

ありがとう！

YouTube フィードを解析し、YouTube ムービー ID を返すための次のコードがあります。parse_qs関数をサポートしていないと思われる python 2.4 互換になるようにこれを書き直すにはどうすればよいですか?

RSSクライアントが同じGUID/識別子を持つ複数のアイテムを含むフィードに遭遇した場合の正しい応答は何ですか？

現在、私のアプリケーションでは、既存のGUIDを使用するアイテムは、すでにそのアイテムが含まれていると見なされるため、キャッシュまたは表示されません。

この例のフィードでは、多くのアイテムがこのIDを共有しています。

メディア RSSとiTunes ポッドキャストRSS フィードをデータベースに保存できるようにしたいと考えています。ここでの要件は、フィード内の要素またはその属性を見逃したくないということです。フィード内の最も一般的な要素をすべて見つけて、データベースに個別の列として保存することは理にかなっています。ここでの問題は、標準ではないフィード固有の要素が存在する可能性があることです。私も彼らを捕まえたい。彼らが何者なのかわからないので、彼ら専用のコラムはありません。

現在、feeds と feed_entries という 2 つのテーブルがあります。エンクロージャ、カテゴリなどの RSS 2.0 タグについては、feeds/feed_entries と関連付けられた別のテーブルがあります。フィードの解析に feedzirra を使用しています。Feedzirra では、解析したいフィード内の要素を知る必要があるため、feedzirra が理解できる以上の要素がフィードに含まれているかどうかはわかりません。

これらのフィードをデータベースに保存し、わずかな情報も見逃さないようにするには、どうすればよいでしょうか? (ほとんどの属性を照会する必要があるため、フィード全体をそのままデータベースにダンプしても機能しません)。どのパーサーが最適でしょうか? Feedzirra はパフォーマンスのために選択されましたが、フィード内のすべてのデータをデータベースに取得することが優先事項です。

アップデート

データベースとしてMySQLを使用しています。