問題タブ [datafeed]

サード パーティの OLAP サービスへの週次データ フィードを管理するためのベスト プラクティスを調査しています。分析データベースは、完全なデータ ダンプで初期化されます。その後の週次フィードでは、新しい行と更新された行が提供されます。データは、SQL Server 2005 データベースから供給されます。

新しい行と更新された行を検出するための推奨されるアプローチは何ですか?

1. 挿入および更新時に変更日フィールドをトリガーし、最後のフィード抽出より後のものを取得します。また

2. ソース テーブルのタイムスタンプ列と、前回のフィード抽出よりも大きいタイムスタンプを持つ行を取得します。また

3. 思いもよらなかった素晴らしいアイデア...

私はまだ金融ソフトウェアを書いています：Pそしてついに私が現在SQLServerデータベースにリアルタイムで保存している信頼できるリアルデータライブデータフィードを手に入れました。

株式市場と同様に、タイミングがすべてです。クライアントマシンにデータベースの挿入が入ったときに通知を受け取るにはどうすればよいのでしょうか。データベースでは1秒間に最大200回の更新が行われる場合もあれば、1分未満の場合もあります。

同じ場所にあるサーバー上のデータベースの更新時に、クライアントアプリケーション（WindowsフォームC＃）に新しいデータとそのデータが遅延なし（ミリ秒のタイミング）ですぐに通知されるシステムを実装するにはどうすればよいですか？

データベースに絶えず問い合わせるスレッドが必要ですか？それは負荷が大きすぎるでしょうか？クライアントとデータベース用のTCP/IPソケット？

私はデータフィードのようなものを書く必要があると思いますか？このようなものを開発するにはどうすればよいですか????

ありがとう

デビッド

Yahooから通貨ペアを取得するために機能する日付の範囲を取得する方法を知っている人はいますか？以下のコードは、必要な最新のレートをキャプチャするために正常に機能しますか？ある範囲の日付について、同じ情報の完全な時系列またはマトリックスを探しています。Mathworks.comの例を使用してみましたが、以下にエラーが表示されます。このコードは正常に機能します。

どこ

ある範囲の日付を実行すると、次のエラーが発生します。

ありがとう

ほとんどの取引アプリケーションは、IQFeed などの商用プロバイダーや、取引 API をサポートする証券会社からデータフィードを受け取ります。ローカルデータベースに保存するメリットはありますか? 日中のデータ フィードのサイズは非常に大きく、ティックごとのデータは気にせず、わずか 50 株の 1 分間のデータでデータベースが指数関数的に増大します。これはデータベースのバックアップにとって悪夢であり、パフォーマンスに影響を与える可能性があると思います.

DVD またはオンラインで履歴データをテキスト ファイルで取得する場合、それをデータベースに格納することが唯一の論理的な選択肢ですが、API を介して取得することは、やはり良い考えでしょうか?

アプリケーションからのデータフィードを文書化したい。上部に2つのシステムボックスがあり、各送信データフィードを表す矢印がある単純なシーケンス図について考えています。

これに最適なUML図は何ですか？

私はOpenIcecat（Icecat Open Catalog）に基づいた製品のカタログの作成に取り組んでおり、これを経験したり、別の同様のサービス（C-Netなど）を経験したりする可能性のある人からのアドバイスを探しています。

私の質問は、製品カタログのデータベースにデータを入力するための良いモデルは何ですか？

これが私がこれまでに持っているものです...

1. カタログ全体のXMLフィードを取得します
2. カテゴリIDに基づいて必要な製品に関するデータを抽出します
3. この時点で、すべてのデータをテーブルに挿入したので、「Printer cats」のようなテーブルができました。これには、カテゴリ内の各製品の画像へのURLとXMLのIDが含まれています...簡単です

ここで私は質問/懸念に遭遇します...各XMLファイルと画像に対してGETリクエストを使用するスクリプトをアドホックにするのは簡単です...それからそれらをディレクトリにダンプできますが、Icecatはあなたに非常にリッピングすることを望んでいません大量。私のカテゴリには、数千（たとえば40k以上）の製品が含まれています。

私がしなければならないと感じているのは、製品のXMLを取得し、画像を取得して保存することです。それは明白な解決策であり、それがクライアントが求め続けているものであるため、私はこのように感じています...しかし、それが正しいことを意味するわけではありません。したがって、個々のXMLを解析して、説明やSKUなどをテーブルに抽出し、Magentoで使用するようにカタログを作成し、後で必要に応じて追加/変更することができます（価格、関連製品など）。 ）簡単そうに見えますが、約3〜4kのGETリクエストの後、大量のデータをリッピングしているために起動します。カタログ全体（必要なカテゴリのカタログ）を取得したら、更新を取得するのは簡単です。ファイル（XML ..および比較して小さい）およびそれに応じて変更を加えます...これは重要なポイントですが、最初にすべてのデータを取得し、最初に製品テーブルを作成する必要があります。

だからここに私が蹴り回すものがあります...

1つのアイデアは、必要に応じてリアルタイムでデータを取得することですが、これはクライアントや私自身には望まれていません。クライアントは、わかりやすいカタログを望んでいます...そして、リアルタイムでパフォーマンスが低下し、（簡単に）多くのソリューションにプラグインできないことに気付きました。しかし、「リアルタイム」のアイデアを拡張すると、XMLデータのリアルタイムGETを使用し、ローカルに存在しない場合は「ローカルに存在しない場合」のようなロジックを使用してデータを保存します...取得してから保存しますそれ; ローカルに存在する場合は、最新の情報であるかどうかを確認します...更新しない場合は、'...もちろん、最新であるかどうかを確認する場合は、保存しても意味がありません。データは、何があっても毎回リクエストを実行しているためです...データを取得して破棄するだけでもかまいませんが、これは非効率的です。

-また-

たぶんすべてがリアルタイムです：製品はリアルタイムでフェッチされて表示され、管理者が操作のために製品を表示すると、リアルタイムで表示されます。 「メイン」カタログファイルからすでに入力されているデータベース...Icecatから利用可能なカタログ全体を記述しますが、これは多くのソリューションにプラグインせず、パフォーマンスに打撃を与えます。さらに、一部のホストは私たちを許可しませんとにかくGET...ここには非常に多くの制限がありますが、常に最新の情報を持っていることを確認するための素晴らしい解決策のように聞こえます（ここでは必要ありません）

これが私がすでに向かっているところです...

メインカタログ（50万以上のアイテム）に基づくメタデータがあります。私はすでに希望のカテゴリに基づいてテーブルにデータを入力しました...今、私はこれに向かっています：単一のカテゴリなど、私が作業しているものをより洗練するアプリ（ツール）を構築します。次に、ジョブを生成し、'カテゴリIDを使用してすべてのXMLフィードを取得します'...次に'cat.ID（おそらく再び同じ）を使用してから画像をフェッチします' ...次に、同じCatを取得します。SKU、説明、画像ファイル名などを取得して製品を識別および構築し、カタログを構築します。ワークフローのこの時点で、私はすべての情報を持っており、SKU（または必要なもの）を使用して、他のフィードから価格などを取得したり、説明を操作したり、必要に応じて画像の名前を変更したり（SEO）することができます。

次に、別のフィードから価格と配送重量を更新するためのモデルを構築する必要があります...この場合はSynnexですが、配送と価格はリアルタイムである必要があるため、はるかに簡単に見えます...一度、私が考えているのはカートの中のものだけです。

まだこれを行う方法がわかりません..おそらく他の人がIcecatリポジトリをリッピングして同じクライアント用にこのようなカタログを作成しましたが、将来の操作などのためのツールを作成/提供することはありません...これが私が向かっているところです。さらに、古いカタログは非常に古く/古く、完全なセットではなく、実際にデータをリッピングしてカタログを作成したという「証拠」を見たことがありません。

OK、混乱を助けるために...

私が使用しているソースには、多くのカテゴリの600,000を超える製品のリポジトリがあります。必要な製品は約45,000個です（いくつかのカテゴリにわたって）。現状では、1時間あたり約1000のように、それぞれのxmlファイルをダウンロードするのに数時間かかります（これは過去の経験からわかっています）。

問題の一部は、すべてのXMLファイルが完全に同じであるとは限らず、さまざまなカテゴリからのさまざまな情報が必要になることです。これらの要件はおそらく変更されるでしょう（おそらく最初はもっと）。したがって、それらすべてを格納する単一のスキーマを持つことはできません。45,000（またはそれくらい）のファイルがダウンロードされると、将来の変更/更新を取得するだけで済みます。ですから、私が本当にやろうとしているのは、必要なカテゴリのみのローカルリポジトリを構築して、それらをより効率的に操作できるようにすることです。関連するカテゴリもすぐに使用する予定はないので、戻ったときにファイルをローカルで使用することも必要です。

そこには同じ質問があるので、これはおそらく重複のように思われます。

残念ながら、これらすべての質問に対するすべての回答には、状態という1つの詳細が欠けています。

国、州、都市のリストはどこで入手できますか？

たとえば、私はこれが欲しいです：

また

状態を除外するこのようなものは必要ありません。

このようなデータを入手できる場所はありますか？

私はすでに次のデータソースを試しました：

• http://www.maxmind.com/app/csv
• http://www.geodatasource.com/world-cities-database/free
• http://developer.yahoo.com/geo/geoplanet/data/

しかし、それらはすべて州を除外しています。

ITCH メッセージを含むファイルを解析しようとしています:

http://www.nasdaqtrader.com/Trader.aspx?id=DPSpecs_USEquities#TVITCH ¬ http://www.nasdaqtrader.com/content/technicalsupport/specifications/dataproducts/NQTV-ITCH-V4_1.pdf ¬

各価格は、18 個の整数部ビットと 14 個の小数部ビットを持つ 32 ビットの固定小数点数として表されます。(整数 6 桁の後に 10 進数 4 桁)

例えば

私は構造体クラスを見てきましたが、これはバイナリエンコードされたc構造体から変換するためのバイト全体のみを扱います。

decimal.Decimal モジュールを見てきましたが、文字列を使用してのみインスタンス化できるようです。これは、文字列形式の数値が既にあることを前提としています。

私は現在CMSを作成していますが、CMSの主要な機能の1つはデータフィードシステムです。このウェブサイトは、そのデータベースの1つのコンテンツを多数のリストサイトに転送するためのものです。各サイトには、この情報のフォーマットに関する独自の仕様があり、プログラマー以外のデータフィードを簡単に変更および追加するために使用できるバックエンドを作成する必要があります。

これまでに受け取った形式のうち、XML、CSV、TXTの3つのファイルタイプがあります。これらのファイルタイプ内でもフォーマットにはさまざまな標準があり、フィールドの順序が異なり、引用符があるものとないものがあります。私はしばらくこれについて困惑してきましたが、これが私の解決策です。

• 各フィードには、個別のデータベーステーブルに保存されたテンプレートがあります。テンプレートは、フィードに必要な構造（XML、CSV、TXT）とプレースホルダー値（{{NAME}}など）で構成されます。次に、スクリプトが各データベースエントリをループし、プレースホルダーを変数値に置き換え、完成したドキュメントを正しいファイル拡張子で保存します。

私の問題は、1つのPHPファイルを使用して複数のファイルを保存する方法（おそらく別のPHPファイルから同じファイルを複数回呼び出す方法）と、このようなさまざまなファイルタイプを保存する方法を理解することです。基本的に、拡張子を設定してファイルを保存するにはどうすればよいですか？

製品のCSVデータフィードを作成するためのスクリプトをダウンロードしました。また、サムネイルへのURLを含めたいと思います。このコードには、製品イメージのURLに対してすでに次のものが含まれています。

$product_data['ImageURL']=Mage::getBaseUrl(Mage_Core_Model_Store::URL_TYPE_MEDIA).'catalog/product'.$product->getImage();

だから私はこれを次のように調整しようとしました：

$product_data['ThumbnailURL']=Mage::getBaseUrl(Mage_Core_Model_Store::URL_TYPE_MEDIA).'catalog/product'.$product->getThumbnail();

これは、（親指ではなく）まったく同じ画像URLを表示します。これをどのように修正しますか？

私がやったvar_dump($product);結果は次のとおりです。

["image"]=> string(18) "/f/i/file_2_18.png" ["small_image"]=> string(18) "/f/i/file_2_18.png" ["thumbnail"]=> string(18) "/f/i/file_2_18.png"

製品のサブカテゴリも取得する必要がありますが、これを呼び出す方法がわかりません。どの変数が可能かをどのように確認できますか？例$product->getPriceまたは$product->getName？