問題タブ [data-collection]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票する
2 に答える
956 参照

javascript - Javascript 心理学実験からのデータの収集

研究の一環として、私は JavaScript で基本的な認識記憶実験を設計しています。この実験では、参加者は最初に学習する一連の写真を提示され、次により大きな画像セットが表示され、それらのどれを識別しなければなりません。前に見たことがあります。

通常、この種のタスクには EPrime パッケージまたは Python (Experiment) を使用しますが、大規模なグループでテストできるように JavaScript で記述しています (6 台のコンピューターでのみ EPrime を使用しており、現在は Python でのみ使用しています)。私自身)。

JS/html初心者としての私の問題は、分析のためにデータを収集する方法を理解できないことです(つまり、データを自分に送信するか、どこかのサーバーに保存します)。誰でもこれについて私を助けてもらえますか?

0 投票する
1 に答える
2160 参照

magento - 課税/非課税売上のカスタム Magento レポート

私は Magento だけでなく、一般的なデータ コレクションも初めてです (ごく最近、OOP/フレームワークを使い始めたばかりです)。

私はこちらの優れたチュートリアルに従っており、この件に関する Alan Storm の概要に精通しています。私の目的は、開始日/終了日を指定すると、次の合計を返すカスタム Magento レポートを作成することです。

  • 課税対象額 (税込み注文の小計の合計)
  • 非課税ネット (税抜きの注文の小計の SUM)
  • ※総売上高(総計)
  • ※総売上高(小計)
  • *合計送料
  • *総税

*これらの数値については、既存の別のレポートで入手できるか、それらから手動で計算できることを認識していますが、このレポートの目的は、店舗の所有者が単一のページにアクセスしてファイルをエクスポートし、税のために会計士に送信できるようにすることです。目的。

日付範囲を含む基本的なレポート構造は既に Adminhtml に配置されており、必要に応じて注文ステータスなどに追加のフィルターを含めることができると確信しています。あとは、正しいデータ コレクションを取得し、関連データを取得する方法を理解する必要があります。

私の問題は、注文データがどのように保存されているか、どの結合が必要か (もしあれば)、取得したデータをどのように操作するか、または設定したグリッドとどのようにインターフェースするかについて、頭も尻も作ることができないことです。 . 私が見つけた主題に関する既存のチュートリアルはすべて、私が必要とする総売上データとは対照的に、特に製品レポートを扱っています。

Magento の販売データの操作方法を理解するのに役立つリソースや、その他の洞察を提供してくれるリソースを誰かが正しい方向に向けてくれたら、よろしくお願いします。

0 投票する
2 に答える
1253 参照

monitoring - 分散システムのデータ収集と監視を構築するためのミドルウェア

私は現在、監視および保守システムのソリューションを構築するための優れたミドルウェアを探しています。私たちは、最大10,000の個別ノードで構成される分散システムを監視、データ収集、および維持するという課題に取り組んでいます。

システムは、5〜20ノードのグループにクラスター化されます。各グループは、受信したセンサーデータを処理することにより、(チームとして)データを生成します。各グループには、グループのファサード/プロキシとして機能する専用ノード(青いボックス)があり、グループからのデータと状態を外部に公開します。これらのクラスターは地理的に離れており、さまざまなネットワークを介して外界に接続できます(1つはファイバーを介して、もう1つは3G /衛星を介して実行できます)。より短い(秒/分)停止とより長い(時間)停止の両方が発生する可能性があります。データは、各クラスターによってローカルに保持されます。

このデータは、さまざまなクライアント(オレンジ色のボックス)によるさらなる処理、分析、および表示のために、外部および集中型サーバー(緑色のボックス)によって(継続的かつ確実に)収集される必要があります。また、各グループのプロキシノードを介してすべてのノードの状態を監視する必要があります。ミドルウェアがそれをサポートできればよいとはいえ、各ノードを直接監視する必要はありません(最大10,000ノードからのハートビート/状態メッセージを処理します)。プロキシに障害が発生した場合は、他の方法を使用して個々のノードを特定できます。

さらに、設定などを微調整するために各ノードと対話できる必要がありますが、それはほとんどの場合、必要に応じてノードごとに手動で処理されるため、より簡単に解決できるようです。いくつかのバッチ調整が必要になる場合がありますが、全体としては、標準のRPC状況(Webサービスなど)のように見えます。もちろん、ミドルウェアがこれも処理できる場合は、いくつかの要求/応答メカニズムを介してプラスになります。

モニタリング

要件:

  • 継続的なデータを公開/提供する1000以上のノード
  • データは(何らかの方法で)確実に収集され、1つ以上のサーバーに継続的に収集される必要があります。これは、失われたデータを要求するためのある種の明示的な要求/応答を使用して、ミドルウェアの上に構築される可能性があります。これがミドルウェアによって自動的に処理される可能性がある場合、これはもちろんプラスです。
  • 複数のサーバー/サブスクライバーが同じデータプロデューサー/パブリッシャーに接続し、同じデータを受信できる必要があります
  • データレートは、グループあたり1秒あたり10〜20の範囲で最大です。
  • メッセージのサイズは、おそらく100バイトから4〜5キロバイトの範囲です。
  • ノードは、組み込みの制約付きシステムから通常のCOTS Linux/Windowsボックスまでさまざまです。
  • ノードは通常C/C ++を使用し、サーバーとクライアントは通常C ++ / C#を使用します
  • ノードは(望ましい)追加のSWまたはサーバーをインストールする必要はありません。つまり、ノードごとに1つの専用ブローカーまたは追加のサービスは高価です。
  • セキュリティはメッセージベースになります。つまり、トランスポートセキュリティは必要ありません。

データの公開/ポーリング/ダウンロードのために主にプロキシノード(青)とサーバー(緑)の間、および設定を微調整するためにクライアント(オレンジ)から個々のノード(RPCスタイル)への通信を処理できるソリューションを探しています。

逆の状況については、多くの議論と推奨事項があるようです。サーバーから多くのクライアントにデータを配布しますが、説明されている状況に関連する情報を見つけるのは困難です。一般的な解決策は、SNMP、Nagios、Gangliaなどを使用して多数のノードを監視および変更することですが、私たちにとって難しい部分はデータ収集です。

DDS、ZeroMQ、RabbitMQ(すべてのノードでブローカーが必要ですか?)、SNMP、さまざまな監視ツール、Webサービス(JSON-RPC、REST /プロトコルバッファー)などのソリューションについて簡単に説明しました。

では、使いやすく、堅牢で、安定していて、軽量で、クロスプラットフォームで、クロス言語のミドルウェア(またはその他の)ソリューションについて、法案に適合する推奨事項はありますかできるだけ単純ですが、単純ではありません。

0 投票する
1 に答える
2282 参照

android - キーボード入力のブロードキャスト インテント

キーボードのデータを「タイプ」に送信する意図はありますか?

これは実用的というよりは理論的なものですが、キーボードで受信したインテントをブロードキャストすることは可能ですか。インテントには、アクティブな入力フィールドに「入力」される文字列が含まれます。別の方法として、インテントにターゲット フィールドを含めることもできます。これをキーボードで使用して、ビュー内の正しいフィールドを選択するか、データが間違ったフィールドに出力されるのを防ぐことができます。

なんで?

これは、データ収集アプリケーションに役立つ可能性があると考えています。

例 1: Bluetooth スケール

体重を追跡するためのアプリケーションがあるとします。毎朝アプリを起動し、体重を量り、体重を入力します。体重計が電話のアプリケーションに依存しないサービスとペアになっている場合は、体重フィールドを選択して体重計にステップアップするだけです. 値は携帯電話に送信され、このインテントを使用してデフォルトのキーボードに渡されます。

例 2: NFC ID タグ

サービス フォーム アプリケーションには、16 桁のマシン シリアル番号が必要です。マシンには、シリアル番号を含む NFC タグがあります。手動で入力する代わりに、NFC 読み取りインテントは、インテントを介してデフォルトのキーボードに値を渡すサービスによってキャッチされます。

批判:

  1. アプリはスケールと直接統合できます/統合する必要があります。
    反論: Web アプリでは機能せず、特定のソリューション (Bluetooth デバイスなど) をサポートする (およびサポートを維持する) アプリに依存しています。
  2. 入力フィールドを、結果のインテントを起動するボタンに置​​き換えます。
    反論:上記と同じですが、さらにユーザーの操作が必要です。クリック数と時間はプレミアム商品です。

それが存在しない場合、キーボードがそのようなインテントレシーバーを実装するのは最悪の考えでしょうか? それとも、悪いアプリケーション設計への扉を開くだけでしょうか? セキュリティ的に?

0 投票する
2 に答える
3742 参照

web-scraping - Web スクレイピングからの保護

私は現在、フロント エンド クライアントを含むアプリケーションを開発しているチームの一員です。

このクライアントを介してユーザー データを送信します。各ユーザーにはユーザー ID があり、クライアントは RESTful API を介してサーバーにデータを要求します。

たとえば、本のデータベースがあり、ユーザーは著者が書いた最新の 3 冊の本を取得できるとします。私たちはユーザーの時間を大切にしており、ユーザーが明示的な登録なしで製品の使用を開始できるようにしたいと考えています。

私たちはデータベースを大切にしており、独自の専用ソフトウェアを使用してデータを入力し、できる限り保護したいと考えています。

したがって、基本的に質問は次のとおりです。

Webスクレイピングから身を守るために何ができるでしょうか?

私たちのデータを保護するためのいくつかのテクニックについて知りたいです。ユーザーが著者検索パネルにすべての著者名を入力して、すべての著者が書いた上位 3 冊の本を取得することを防止したいと考えています。

提案された読書をいただければ幸いです。

私たちはキャプチャを認識しており、可能な限りキャプチャを避けたいと思っています。

0 投票する
1 に答える
68 参照

c# - 「接続された」一連のデータを作成するための良い方法は何ですか

私は現在、運動に関するデータを取り込むプログラムを書いています。変数は

エクササイズ - 例) ベンチプレス

日付 - 例) 08/12/13

担当者 - 例) 10

重量 - 例) 135

重量設定 - 例) 3

休憩時間 - 例) 120 (秒)

日付の体重 - 例) 200

CSVファイルからインポートしています。データを解析して、そのように設定されたクラスを提供するようにしました

だからここに私の問題があります。これらをプロットすると、日付がソートされていないことがわかりました。以前の日を最初に表示したいと思います。だから私は自分のを並べ替えてきましたList<WorkoutInformation>。しかし、これにより、どの日付がどの体重、担当者、またはその他の情報と一致するかを失う可能性が高くなることがわかりました. 私の質問は、リスト Ex) のような情報にアクセスできるクラスを作成する方法ですが、他のすべての情報のMyList.date[i]インデックスを変更すると、適切にインデックスが作成されますか?MyList.date[i]

0 投票する
3 に答える
62 参照

python - Python: データ取得

可能な限り簡単な方法でファイルから特定のデータを取得する方法を見つけようとしています。インターネット全体を検索しましたが、何も見つかりません。私はこれを行うことができるようにしたい:

ファイル.txt:

しかし、私はdata1だけを取得したいので、

任意のアイデア、前もって感謝します。

0 投票する
1 に答える
3698 参照

facebook-graph-api - Web クローラーを使用して Facebook ページからデータを取得する

論文を書こうとして、今のところ少し迷っています。

後でネットワーク分析に使用するために、Facebook ページからデータを収集する必要があります。

投稿されたメッセージごとに収集する必要があります。

  • 投稿されたメッセージのID
  • コンテンツ
  • タイプ (画像、リンク、テキスト、またはゲーム)
  • メッセージを投稿した人のIDと名前
  • メッセージの作成日
  • その場合、可能な更新の日付
  • いいね数
  • いいねした人の名前とID
  • 株式数
  • 共有者の名前と ID
  • コメント数
  • コメンテーターの名前とID + コメントの内容
  • 各時点でのページのいいねの数 (各メッセージが投稿される前)

IT部門の出身ではないので、私は多くの困難を抱えています。そのようなデータを収集する最も簡単な方法は何ですか?

さらに、Facebookの公開ページでデータを取得しようとすることは合法だと思いますか?

0 投票する
2 に答える
1285 参照

android - Android センサー データの収集が正しく機能していません

加速度計、ジャイロスコープ、磁力計からデータを収集するデータコレクターを開発しましたが、しばらくはうまくいきました。次に、線形加速も追加しました(4か月後、今週)。現在、両方のバージョンが非常に奇妙な動作をしています。ウォーキングなどの身体活動を行うと、データが完全に記録されることがあります。ただし、センサー値が更新されず、古い値が繰り返されることがあります。つまり、各センサー値が更新された後、5 秒、2 秒などランダムに更新されます。毎秒 50 サンプルのサンプリング レート。10 ~ 15 人の参加者で実験しましたが、これが原因ですべてのデータが無効になりました。奇妙なことは、同じアプリが以前に完全に機能していたことです。私はそれに問題を見つけることができません。スナップショットの一部をここに配置します。誰かがバグか何かを指摘できるかどうか?

バッファされたライター:

この bow.writer は、timertask スレッドで使用され、20 ミリ秒ごとにデータを記録します。

誰でもコメントしたり、これについて私を助けてくれますか? このアプリのこの奇妙な動作は、私の理解を超えています。

0 投票する
0 に答える
324 参照

struts2 - データ収集フォーム入力隠し Struts 2

非表示フィールドからアクションにデータを送信すると、問題が発生します。データが正しく収集されず、結果ページに次のメッセージが表示されます。

  • 値 '[Ljava.lang.String;@354c0a31' で式 'idplatos' を設定中にエラーが発生しました
  • 値 '[Ljava.lang.String;@4786b9ce' で式 'idrestaurantes' を設定中にエラーが発生しました

このフォームでは、隠しフィールドの値は前のクエリから取得され、フォームにない他のデータをクエリする同じページで正しく表示されます。フォームのコードは次のとおりです。

これはアクションからのコードです:

何が問題ですか?