問題タブ [data-collection]

町を離れている間、ラップトップのタイムゾーンを変更して当時の現在地を反映し、オフィス ネットワークに VPN で接続しているときに、たまたま SSMS でいくつかのデータ収集レポートを実行しました。

戻ったときに再びタイム ゾーンを変更したにもかかわらず、その後のレポートの実行では、私が訪れたゾーンの時間が表示されます。これはラップトップでのみ発生します。パフォーマンス データを保存するサーバーにリモート接続しているときに同じレポートを実行すると、時間は正確です。また、同様の影響を受けたラップトップ上の他のアプリケーションにも気づいていません。

これを修正する方法を知っている人はいますか？

JSONliteを使用して Dota2 マッチ データを収集するために R でパッケージを使用すると問題が発生しますSteam API。私は経験豊富な開発者ではありません。ありがとう！

R でスクリプトを作成しました。Web ブラウザーを使用して API 呼び出しを確認すると、JSON コンテンツが正しく返されますが、R でまったく同じ API 呼び出しを (for ループまたは単一呼び出しとして) 実行すると、fromJSON()次のエラーが表示されます。

これは、fromJSON コマンドと jsonlite を使用して複数の JSON 応答を収集するために作成した R スクリプトです。

これはちょっと複雑な質問なので、できるだけ分かりやすく説明し、不必要な詳細をあまり与えないようにします。

昨年、仕事用の python スクリプトを開発しました。基本的なシステム データを取得し、それを HTTP/S サーバーに送信します。HTTP/S サーバーは、ユーザーが選択した場合にコマンドを送り返すことができます。何が機能し、何が機能しないかを確認することは、昨年の大きな実験のようなものでした. 社内などでさまざまなニーズをテストしていますが、今では必要なものをかなりしっかりと理解しています。だから私はバージョン2で旅を始めています。

この新しいバージョンの目的は、システム/CPU の負荷と帯域幅を削減しながら機能を維持することです。この Python スクリプトを開発した後、残りの作業は HTTP/S サーバー上で行われます。私の質問は、特にクライアント側、Python スクリプトに関するものです。ほとんどの場合、Debian ベースのシステムで Python 2.7.x を使用しています。

v1 スクリプトは、システム データを取得し、データを送信するサーバーを含む構成ファイルを読み取り、スレッドを使用して各サーバーに送信します。（これらのスレッドでも）各サーバーは1つ以上のコマンドを返すことができ、それらは独自のスレッドを介して処理されます。スクリプトは、crontab を介して 1 分に 1 回実行されます。5 つ以上のサーバーにそれぞれ 10 個のコマンドを送信させることができ、スクリプトは引き続きすべてをスムーズかつ効果的に実行し、サーバーが発行したコマンドを完了するのに長い時間はかかりません。

v2 スクリプトでは、次の必要な変更を加えようとしています。

• システムサービスとして実行されます。そのため、毎分 cron によってコードが実行される代わりに、スクリプトは数秒ごとにループします。

• ループは、ループを介して毎回データを収集し、それを各 Web サーバーに送信する必要があります (構成ファイルで定義されているとおり)。

• パフォーマンスと帯域幅の最適化のために、永続的な HTTP/S 接続が必要です。

• 各 HTTP/S サーバーのループを介して毎回データを収集したくありません。サービスを駆動するメイン ループを介して反復ごとに 1 回だけデータを収集し、確立された HTTP/S 永続接続を管理しているスレッドにそのデータを送信します。

ここに私の問題があります。データを一度だけ収集しながら、それぞれのスレッド内で永続的な接続を取得し、それらのスレッドにデータを取得するにはどうすればよいですか?

httplibは TCP 接続を再利用しますか? このような方法で永続的な接続を行うことができることがわかりました (ありがとう、Corey Goldberg ):

このループ内でデータ収集を行う必要があります。しかし、私はこれを複数のスレッドで同時にさまざまなサーバーと通信する必要があり、データを複数回フェッチするためにリソースを浪費したくありません。私の Python に関する知識は比較的限られているため、それがどのように可能かはわかりません。

基本的に、現在見ているように、スレッド内で HTTP/S を駆動するループが必要です。次に、データを収集して HTTP/S 接続に接続できるように準備するために、ある種のループが必要です。しかし、どうすれば最初のループを 2 番目のループの中に入れることができるでしょうか? データ収集ループ内に HTTP/S 永続接続ループが必要なようですが、HTTP/S ループ内にもデータ収集ループが必要です。

これを実現するための純粋な 2.7.x Pythonic の方法を調べたいと思います。外部ユーティリティに依存することは、さまざまな理由で問題になる可能性があります。このスクリプトは、完成すると 150 以上の Linux システムに展開されます。

ご協力いただきありがとうございます。

OSX および iOS デバイスで (フォア グラウンドとバック グラウンドで) 開いて使用しているすべてのアプリケーションに関する情報を収集しようとしています。データを使用して、次のような情報を収集します。 1. 使用されているアプリケーション 2. 時間 (t)、アプリケーションのアクティブな使用時間 3. アプリケーションを使用して実行されたアクション 4. バックグラウンドで実行されているアプリケーション

たとえば、OSX では、Microsoft Outlook アプリケーションが 10:00 に開始されました。10:15まで積極的に利用。プロセスは 10:15 にバックグラウンド (実行中) に送信されました。プロセスは 10 時 30 分にフォア グラウンド/フォーカスに戻りました。可能であれば、電子メールなどのアクションが 10:30 に送信されました。同様に、Web ブラウザーのアクティビティ。アクセスしたページと使用したアプリケーション。

ハック ウィーク プロジェクトとして、さまざまなアプリケーション (最初は Mac のみ) から上記のデータを収集し、分析に使用しようとしています。これは可能だと思いますが、他の人や専門家からこれを行う方法を聞きたいです。

助けてくれてありがとう。ありがとうございました。

Android デバイスに csv ファイルがあり、その csv ファイルは 10 秒ごとに更新されます。そのファイルをそのデバイスから Bluetooth 経由でラズベリー Pi に送信したいと考えています。Raspberry Pi はそのデバイスから手動でファイルを受け取りましたが、10 秒後に Pi がその csv ファイルをデバイスから収集し、Pi に保存するようにしたいと考えています。どうすればこれを達成できますか？誰かが私を助けることができれば、それは私にとって非常に役に立ちます.

技術者以外のユーザーから個々のマップされたポリゴンのデータを収集する最も軽量な方法を見つけようとしています。最終的なビジョンは次のとおりです。ユーザーが Web フォームに入力し、図形を描画すると、書式設定されたデータを私や同僚に簡単に電子メールで送信できます (電子メールのアイデアはおそらく読者をぞっとさせるかもしれませんが、私は私の制御を超えた多くの制限的なパラメータ.電子メールは既知の量です.)

geojson.io のようなものや、leaflet.draw を使用した単なるリーフレット マップを取り除き、結果の座標を電子メールで送信できるテキストに渡す方法はありますか?

繰り返しますが、私のニーズは基本的なものです。一度に 1 つのシェイプがマップされます。視覚的なオプションとコントロールが少ないほど良いです。私の聴衆はほとんどが技術に詳しくありません。

このユーザーは同じ質問をしようとしたようですが、うまくいきませんでした。

ありがとう！

ルート ドキュメントへの DBRef を含むコレクションがあります。データ コレクション内の単一のルート ドキュメントにリンクするドキュメントが何万もあります。そのため、ルート ドキュメントのデータをネストしないことにしました。

コレクションを分割する最良の方法は、フィールドtsをroot._id複合キーとして使用することだと思います。

それは可能ですか？そうでない場合、最善の解決策は何ですか? root._idフィールドをデータ コレクションの通常のフィールドにコピーするだけですか?

リンク リストの実装を作成していますが、add メソッドに問題があります。いくつかのエントリでテストした後、私のsize()メソッドは常に 1 を返します。何が間違っていますか。