問題タブ [mashup]

Scrapy を使用して、Web サイトから製品 (製品名と製造元) に関するデータをスクレイピングしています。次に、パイプライン ( http://github.com/noplay/scrapy-elasticsearch ) を使用して、データを Elasticsearch 検索エンジンに直接インデックス付けします。また、メーカーとその評判に関するデータを提供する別のサイト (API または Scrapy を使用) からデータをスクレイピングしたいと思います (たとえば、上位 250 のメーカーの単純なランキング)。したがって、Elasticsearch インデックスでは、サンプル ドキュメントに次のフィールドが含まれる場合があります。

Elasticsearch インデックスに各ドキュメントが製品名、メーカー、製品ランキングに関する情報とともに保存されるように、スクレイピングされたデータを組み合わせる最も簡単な方法は何ですか? スクレイピング プロセス内でデータをマージしてみたり、2 つの JSON ファイルを結合したり、パイプラインを調整したり、Elasticsearch ですべてのインデックスが作成されたらデータをいじったりするのが最善ですか? または、より良い解決策はありますか？

2 つのデータ セットでも、製造元のスペルや言い回しが異なる可能性があります。この問題はどのように克服されますか？

外部 Web ページからテーブルの列をロードする方法がわかりました。

今、私はそれを拡張したいと思います:

• 複数のページから表形式のデータを取得します (プレーヤーの位置によるランキング)。
• 1 つのマスター テーブルにマージします。

これは、スクリプトが現在取得している URL (http:...fantasysports.yahoo.com...pos=QB)です。列は、チーム名とさまざまなポジションのチームのランクです。

他の位置 (つまり、WR、RB、TE) を反復処理したいと考えています。これは、URL の最後の 2 文字をそれぞれの値に変更するだけで実行できます。次に、このすべてのデータを単一の配列に入れたいと考えています。最初の列はチーム名、2 番目の列は QB ポジションのランキング #、3 番目の列は WR ポジションのランキング # などです。

GM_xmlhttpRequest私の計画は、さまざまな位置名を反復するforループに入れることでした。
私のコードでは、位置ごとに個別のテーブルを表示できますが、何らかの理由で順序が正しくありません。

私が遭遇したもう 1 つの問題は、変数のスコープです。現在newStatTable、関数内で定義されていparseResponseますが、関数外からアクセスできません。varから削除しvar newStatTableてグローバルにしようとしましたが、うまくいきませんでした。

これは、私が探している出力配列のサンプルです (注: これらのランクをランダムに選択しただけです)。

これが私の試みです。

このコードは、PHP ページからのデータを含むマーカーで情報ウィンドウが開くクリック イベントを追加することになっています。最初の情報ウィンドウが空白で開き (h1 でニュースと言うだけ)、その後、開いている他のすべての情報ウィンドウには、最後のマーカーからのもの。誰かがそれを修正する方法を教えてもらえますか?

小さな etl/マッシュアップ タスク用の無料の Web ベースのソリューションを探しています。例は次のとおりです。

1. APIに接続する
2. フィルター応答
3. データを別の API への入力として使用する

これは、yahoo パイプが機能していないことに似ています。私にとっては、コード能力がほとんどないデザイナー (主に JavaScript) のインターフェースを持つことが重要です。

注:この分野に関する多くのアイデアと、既存の製品との比較が記載されたこの論文を見つけました。

Excel Web スライサーは、2016 年 6 月 22 日に開始されたように見えなくなりました。スライサーは白く表示され、エラーは表示されません。修正方法を知っている人はいますか？

ありがとう

製品の推奨事項を求める質問が「正しくない」と見なされる場合は、お気軽にこの投稿をロック/削除してください. 私は他の道を探します。

エンタープライズ アプリケーションのプレゼンテーション層は、これまで私が注力した分野ではありませんでした。しかし今、私は、ウィジェットを備えたダッシュボードを素早く簡単に開発できる開発プラットフォームを探す必要があります。ここで、開発はドラッグアンドドロップとあちこちで数回クリックするだけです。これは、対象者が開発スタッフよりもビジネス志向の人が多いためです。

いろいろ調べた結果、私たちに適した開発プラットフォームの要件を最終的にリストアップしたと思います。

• カスタム表示要素。表示要素 (折れ線グラフ、棒グラフなど) をインポートするか、独自に開発できる必要があります。
• イベントベースのリフレッシュ。すべての表示要素には、更新期間ではなく、イベントに基づいてそれ自体を更新するオプションが必要です。
• レスポンシブ。表示要素は、ラップトップ、デスクトップ、42 インチ LED TV など、さまざまなアスペクト比のデバイスのさまざまなブラウザーで正しくレンダリングする必要があります。
• 国際化のサポート。すべての表示テキストとロケール要素 (日付、金額など) は、「バンドル」を介してレンダリングするか、少なくともプログラム可能にする必要があります。
• 手持ちフレンドリー。プラットフォームは、表示をレンダリングするためのデバイス ジェスチャの処理を可能にする SDK を提供する場合があります。たとえば、ピンチしてズームしたり、スワイプしたりします。

理想的には、商用サポートに支えられたオープン ソース製品が優れているでしょう。

私が見たほとんどのオプションには、簡単なドラッグ アンド ドロップ機能がありません。たとえば、d3.js には本当に素晴らしい視覚化機能がいくつかありますが、おそらく重要な開発作業が必要になります。Freeboard も調べましたが、カスタム データ ソースとウィジェットに拡張できるかどうかはわかりません。Splunk は良さそうに見えますが、どの程度拡張できるかはわかりません。

それで、あなたの提案は何ですか？

Qlik View ダッシュボードを SharePoint サイトに公開する方法を知りたいと思っていました。

これを達成できるドキュメントが見つかりませんでしたか?

API オペレーションを呼び出してオブジェクトのリストをフェッチし、次にそのリスト内の各オブジェクトに対して、別の API オペレーションを呼び出してそのオブジェクトの追加の詳細をフェッチし、それらの詳細をオブジェクトに追加しています。目標は、必要なすべてのプロパティ (または詳細) を含むオブジェクトのリストを返すことです。以下の例では、呼び出しは と の 2 つのプロパティを/allObjects持つすべてのオブジェクトのリストを取得します。しかし、私のアプリケーションにはとの 3 つのプロパティが必要です。そこで、別の API メソッドを呼び出して、各オブジェクトの詳細情報を取得します。idk1idk1k4k4財産。その詳細なプロパティを元の結果セットのオブジェクトにコピーし、「強化された」結果セットを返します。ただし、これによるレイテンシ コストは高くなる可能性があります。アプリケーションの速度をあまり落とさずにこれを達成する最善の方法は何ですか? 現実の世界では、500 ～ 2000 個のオブジェクトを扱っています。