問題タブ [data-collection]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票する
1 に答える
1234 参照

google-maps-api-3 - グーグルマップAPIなどのソースからの制限速度データの取得の自動化

そこで、ユーザーの好みに基づいて自転車ルートを最適化するための数学モデルを開発し、ダイクストラのアルゴリズム(そしてもちろんグラフ)を使用してソリューションを解決するアプリケーションを開発しようとしています。エッジの重みの一部は道路の制限速度に基づいているので、私の質問は次のとおりです。

このデータの収集を自動化できる、Google Maps APIなどの優れたオープンソースライブラリはありますか?問題のグラフ(ワシントン州シアトル市)でこれを手動で行うことは不可能ですが、速度制限データの収集をどこで自動化(または半自動化するプログラムを作成)できるかわかりません、またはそもそもそれを取得します。基本的に制限速度情報のソースが必要で、グーグルマップが最も有望なようですが、何も見つかりません。

ありがとう、

tylerthemiler

0 投票する
3 に答える
3969 参照

node.js - ハードウェアと Web コンポーネント間のリアルタイム通信プロトコルはどれですか?

タイトルでの質問の言い方がよくわからなかったので、紛らわしかったら申し訳ありません。

自宅の情報ダッシュボードのようなシステムを構築したいと考えています。それは、温度、風速、風向などの多数のアナログ センサーをリアルタイムで表示する、シンプルでクリーンな Web サイトを最終的にもたらす多数のハードウェアおよびソフトウェア コンポーネントで構成されます。

ハードウェアと情報の表示をどうするかについては、よくわかっています。私の質問は、ハードウェアと Web サーバー間の通信に関するものです。

ハードウェアがかなり速い速度でメッセージを送信するようにしたいので、HTTP POST では十分ではないと思います。また、メッセージを 100% 受信できるかどうかはあまり気にしていませんが、できるだけ多くのメッセージを受信できることは間違いなくプラスです。データはハードウェアから取得され、ある種のデータベース (おそらく Redis) に入力されます。

これまでのところ、いくつかのことを調査しましたが、正しい方向に向かっているかどうかはわかりません。RabbitMQなどのメッセージ指向のミドルウェアを調べましたが、オーバーヘッドが必要かどうかはわかりません。また、Web アプリで最後の 5 分間のデータをグラフ化する必要があるため、より適切なソリューションのように思われるRedis Pub/Subも調べましたが、それでも確信が持てません。カスタムビルドのリスナーに UDP パケットを送信することはできますか?

ハードウェアは 2 段階 (uC が小さな組み込み Linux マシンに供給する) になると確信しているので、これをデスクトップ ソフトウェアが Web サーバーにできるだけ早くメッセージを送信することにたとえることもできます。

私はまったく何も知らない分野に足を踏み入れているので、どんなガイダンスも大歓迎です。

0 投票する
2 に答える
199 参照

.net - .NETベースのデータ収集システムをリモートの無人インストールに移行しますか?

かなり単純な(少なくとも表面的には)データの取得とロギングを行う必要があります。離れた場所(別の大陸など)には、独自のプロトコルを使用するRS-485デバイス(カスタムハードウェア製品)と気象観測所(風速計とベーン)がいくつかあります。気象観測所については、いくつかのオプションがあります。1つは、風速を方形波周波数として出力し、方向をアナログ電圧として出力します。もう1つは、HIDインターフェイスを使用してUSB経由で通信します。これらのデバイスが接続するマシンは、データを収集してログに記録し、WiFi接続を介してインターネット経由で定期的に送信する必要があります。この送信はプッシュまたはプルのいずれかです。つまり、定期的にリモートでマシンにアクセスして最新のデータを取得するか、マシンが定期的にデータをFTPサイトまたはWebサービスにアップロードできます。

.NET 4に対して作成された、このほとんどをすでに実行している.NETアプリケーションがあります。これは、測定データを表示してファイルに記録するGUIインタラクティブアプリケーションです。(実際には、2つのバージョンがありますが、1つはWinformsベースで、もう1つはWPFです。)

リモートインストールのソリューションを開発するのに約1週間かかります。これには、必要な機器の特定と購入、必要なコーディングの実行、およびそれを機能させることが含まれます。ああ、それは安くなければならない。(同様に、500ドル未満がいいでしょう。1,000ドルを超えるものはすべて初心者ではありません。)

私が考えた、または私に提案されたいくつかのこと:

  • RS-485-USBインターフェースを備えた安価なネットブックを使用してください。ええと、多分…しかし、私はこれが環境に持ちこたえることを本当に期待していません。たとえば、ハードドライブは極端な暑さや寒さを好まないでしょう。SSDはオプションですが、それは少なくともさらに100ドルであり、マシンが湿度と生き物に耐えられるかどうかはまだわかりません。エンクロージャーに入れることもできますが、それはまた別の費用です。全体として、私はこのアプローチが必要以上に高価で複雑であり、それほど信頼できるものではないだろうと感じています。
  • 小型のシングルボードまたは産業用コンピュータを使用してください。これらは通常、耐久性が高く、多くの場合、RS-485ポートとウォッチドッグタイマーが組み込まれています。一部には、汎用デジタルI/Oが組み込まれています。これまでアナログ電圧入力のあるものは見つかりませんでしたが、おそらくそれらも存在します。また、通常、ストレージにはコンパクトフラッシュカードを使用します。これは正しい短期的なアプローチのように感じますが、Windowsを実行するものは通常、その組み込みバージョン(WindowsCEやWindowsXP Embeddedなど)を実行します。これは、私がこれらの経験がなく、経験がないことを除けば、おそらく素晴らしいことです。私のソフトウェアを起動して実行するのにどれだけの作業が必要かを知ってください。また、通常、プロセッサの電力は非常に低く、どのような電力が必要かはわかりません。私のアプリは最新のデスクトップで問題なく動作します。これらのローエンドCPUの1つでも正常に動作するかどうかはわかりません。これらのいくつかは、.NET 2.0と互換性があることを宣伝していますが、それ以降は何も見たことがないので、少なくともすべてを.NET2.0にバックポートする必要があります。ああ、そして私がこれまでに見つけたこれらのコンピューターの多くはかなり高価です。
  • ワイヤレスシリアルサーバーを使用します。これらのものは、ネットワーク上にシリアルポートを配置します。リモートで接続でき、シリアルポートは、世界中のどこにでも配置されている場合でも、ローカルCOMポートのように見えます。これはRS-485のものの一種のオプションです。これにより、PCをリモートで管理し、ソフトウェアをリモートで動作させるという問題を回避できます。ただし、世界の反対側へのインターネット接続の帯域幅と信頼性が心配であり、これはUSBHIDデバイスには役立ちません。(ただし、これが他の方法で適切なアプローチであることが判明した場合は、そのデバイスのRS-485バージョンを見つけることができる可能性があります。)
  • データロガーを使用します。これらも、特にWiFiを使用している場合はかなり高価であるように見えますが、必要なすべてを実行できるものは見つかりませんでした。特に、RS-485デバイスの高いデータレートと独自のプロトコルが障害になっているようです。(これらの多くはMODBUSデバイスで動作するように設計されています。)USB HIDベースの気象観測所はこのアプローチでは動作しないため、周波数と電圧を出力する気象観測所を使用する必要があります。
  • 低コストの組み込みマイクロコントローラーソリューションを使用します。長期的(例えば将来のプロジェクト)、これはおそらく最良のアプローチです。安くて、必要なことを正確に実行するようにプログラムできます。しかし、私は自分がこれを1週間でやってのけるのを見ていません。これは私のソフトウェアを完全に書き直したものであり、新しいCPUと開発環境に慣れる必要があります。

誰かがこの種の問題の経験がありますか?これを実現するために考えられる最も簡単で、最も安価で、最も信頼できる方法は何ですか?どの製品またはアプローチを検討する必要がありますか?

0 投票する
1 に答える
235 参照

asp.net-mvc - MVC データ コレクションの検証

私は単純な質問データモデルを持っています:

このクラスを使用して、ビュー モデルを作成しました。

私のコントローラーは、(データソースから)ビューモデルを構築し、ビューをレンダリングします:

このビューは EditorTemplate を利用します。

今のところ、ページがポストバックされると、コントローラーは応答を検証します。

私が抱えている問題は、これのほとんどが正常に機能することです-検証と検証の概要に正しい検証メッセージが表示されます。問題は、エラーをレンダリングする個々のフィールド バリデータを取得できないことです。

ご覧のとおり、ModelState.AddModelError() メソッドを呼び出すと、現在「Questions[0]」形式のキー値を使用していますが、「Questions_0」やその他のさまざまな組み合わせも試しました。

ヘルプ/ガイダンスをいただければ幸いです。

【長文失礼しました】

0 投票する
1 に答える
829 参照

c# - C# で複数選択フォーム (紙) を解釈する

私は、会社が大量の人々のために少量のデータを監査している 1 回限りのプロジェクトを持っています。これらの各担当者に監査を依頼するのがおそらく最も簡単ですが、すべての担当者がコンピューターにアクセスできるわけではないため、紙ベースのアプローチを使用する必要があります。

紙ベースの多肢選択式解答用紙を見たことがありますか? 暗いペン/鉛筆で円を塗りつぶすもの。生年月日、名前などを入れるために、数字や文字の縦方向の配列があります。用紙の上端/下端と左端/右端には、位置合わせとタイミングのためのバーがあります。

独自のシートを作成して配布し、コンピューターで解析したいと思います。このためのオープンソース ライブラリはありますか? おそらく一度しか使用しないので、スキャナーなどを購入するのはおそらく効率的ではありませんが、オフィスの複合機は大量のシートをスキャンして PDF 形式で電子メールで送信できます。PDF を直接解釈するか、埋め込まれた画像を抽出することができます。

0 投票する
2 に答える
167 参照

php - データベースの設計/構造-時間の経過に伴うデータの収集

現在、作成中のサイトのデータベースを構築中です。しかし、私は問題に遭遇しました。ユーザーが毎日ログインした回数をログに記録し、8か月、1年、2年などの長期間にわたってその情報を追跡できるようにしたいと考えています。

私が今考えることができる唯一の方法は、1年の各日に列を作成するか、毎日自動的に列を作成することです。しかし、このアイデアは私にはまったくばかげているように思えます。これを行うにはもっと良い方法が必要だと確信しています。私には考えられません。

助言がありますか?

ありがとう、ロブ

0 投票する
2 に答える
219 参照

javascript - 別のサイトでホストされているフォームからデータを収集する

サイトでフォームが送信されたら、フォーム データを送信することに同意した多くのクライアントがいます。これは可能ですか?これを処理する最善の方法は何ですか? 私たちのサイトはコールドフュージョンで構築されていますが、クライアント サイトはさまざまです。

クライアントにスクリプトタグを追加して、フォームページにサーバーからのjavascriptファイルを含めてもらいました。また、フォーム ボタンに onClick イベントを追加して、フォームの送信時にこの JavaScript が呼び出されるようにしました。

これはJavaScriptファイルです:

フォーム送信時に cpcshowElements 関数が呼び出され、フォーム データをフォーマットし、それを XXX.net/... の末尾に追加して、その URL を呼び出します。form_record.cfm ページは、基本的にいくつかのチェックを行い、データをテーブルに挿入します。

このプロセスは機能しますが、一貫性はありません。データは常にデータベースに入るわけではありません。それが問題だ。データを失わずにこれを行う別の方法はありますか?

0 投票する
1 に答える
439 参照

iphone - iPhone のビデオとデータのキャプチャ

自動視覚処理用の iPhone アプリの開発に取り組んでいます。考えられるアルゴリズムを調べるために、iPhone のビデオとセンサー データを同時にキャプチャする必要があります。
センサーデータを一定期間記録するための優れたアプリをたくさん見つけましたが、iPhone ビデオカメラに切り替えると記録が停止します。最初にビデオを開始してからデータ記録アプリに切り替えると、ビデオが停止します。
私が必要としているのは、任意のセンサーからのデータを記録できるアプリです (具体的には、生の加速度計、生のジャイロスコープ、処理されたユーザー加速度、および処理された姿勢四元数を探しています)。ビデオを同時に録画しながら。そのようなアプリが存在するかどうか、または作成する必要があるかどうかを誰かが知っていますか?

ありがとう、
マックス

0 投票する
4 に答える
2530 参照

java - Java-Webサイトからのデータの取得

宝くじの番号を復元してウィンドウに表示するアプリケーションを作成しています。ただし、Webサイトからデータと数値をどのように復元するかはわかりません。

https://www.national-lottery.co.uk/player/p/results.ftl

これをどのように行いますか?私は以前にこれを行いましたが、使用できるデータの文字列を返すサイトを使用しました。これを行う方法がわかりません。任意の提案をいただければ幸いです。テクニック(ある場合)は、私のプロジェクトの多くで私を助けてくれます!

0 投票する
2 に答える
1458 参照

web-scraping - Getting the list of ALL topic names from Freebase

According to Freebase, they have 23,407,174 topics. What is the easiest way to get the UI friendly names (essentially the 'text' attribute of the topic JSON, example of a single topic JSON is here) of ALL of these TOPICs? I don't need any other meta information.