問題タブ [trend]

1 分ごとに温度が記録されている非常に大きなテーブルがあります。クエリしたいのは傾向です。選択した期間ごとのパーセンテージ増加またはパーセンテージ減少のようなもの (1 時間または 15 分。クエリによって異なります)

私のテーブルは（例）次のようになります

トレンドは次のように計算できると思います（リンクに従って）が、より良い方法があれば修正してください。各行の差を取り、合計してからカウントで割ります。上の表では、

過去 11 分間の 1 分あたりの傾向は、diff/11 の合計です。これは、最後の 11 分間で毎分 0.063C を示します。

過去 3 時間の 1 時間あたりの割合の傾向を教えてください。と 1 時間の 1 分あたりの傾向は?

Twitter のトレンド トピックをリアルタイムで検出しようとしています。私がやっていることは、ツイートを取得するたびに、ツイートと同じトピックについて話しているクラスターにツイートを割り当てることです。使用しているクラスタリング アルゴリズムやトピックへのツイートの割り当て方法に関係なく、トレンド トピックを検出する方法を見つけることができません。

トレンド クラスター/トピックについての私の理解または定義は、特定の期間中に他のクラスターよりも多くのツイートが割り当てられているものであるということです。または、クラスタ サイズの更新頻度が他のクラスタよりも多い。

その定義を実際のコードや数学モデルに変換する方法は、私には解決できません。

これは、傾向のあるクラスターのサイズがどのように発展しているかの例です。

ご覧のように、クラスタ サイズはゼロになり、その後突然増加し始めます。これは、今ではホット トピックであり、ツイートがクラスタに割り当てられているためです。クラスターがホットな話題でなくなると、クラスターのサイズは比較的静的なままになります。

現在、Rails アプリの 1 つから独自の Microsoft Exchange SMTP サーバーを介して電子メールを送信するための設定を支援する必要があります。Heroku の IP が Trend Micro によってブロックされているようです。次のメッセージが表示されます。

「あなたの電子メール メッセージは、受信者またはトレンドマイクロの電子メール レピュテーション サービスによってブロックされました。問題を解決するには、別の手段を使用して受信者またはその管理者に連絡してください」

この場合、私たちにできることは何か、ガイドラインを教えてください。ありがとう

いくつかのバランスの取れたパネル データがあり、傾向変数を回帰に含めたいと考えています。ただし、7 年間で 60 の地区があり、傾向変数を含める方法がわかりません。年変数は、2005 年から 2011 年の間、予想どおり反復的です。次のことを考えています。

2011 年までt、データ内の 180 の異なるパネルについて、1 から 7 までの変数が得られます。

私の質問: 上記のように傾向変数を含めても問題ありませんか、yearそれとも変数を回帰に直接投入する必要がありますか?

わかりました。これで、[たとえば] 整数の配列の形式の履歴データが得られました。たとえば、これはサーバー HDD の 2 年間の空き容量を表すことができ、各配列要素は毎日のサンプルを表します。

データ (この例では空き容量) は減少傾向にありますが、ファイルが削除/圧縮された場所などで定期的な正のスパイクもあります。

2 年間の全体的な傾向を特定するにはどうすればよいでしょうか?つまり、データの山と谷を解決しますか?

今、私は A レベルの統計を取り、学位で統計モジュールを取りましたが、それ以来 7,000 回以上寝ており、まあ、脳から漏れています。

私はそのようなコードのビットを求めているのではなく、この問題にどのようにアプローチするかについての詳細な説明を求めています...

前もって感謝します！

Google トレンド (または Twitter のような大規模なトレンド機能) の背後にあるシステム設計を理解しようとしています。

課題:

• トレンドを計算するために大量のデータを処理する必要があります。

• フィルタリングのサポート - 時間、地域、カテゴリなどによる

• アーカイブ/オフライン処理のために保存する方法が必要です。フィルタリングのサポートには、多次元ストレージが必要になる場合があります。

これが私の仮定です (私は MapReduce/NoSQL テクノロジの実際の経験がありません)。

ユーザーからの各検索項目は、保存されて最終的に処理される一連の属性を維持します。

タイムスタンプ、検索地域、カテゴリなどによる検索のリストを維持するだけでなく、

例：

Kurt Cobain用語を検索しています:

質問：

• 検索語の頻度を効率的に計算するにはどうすればよいですか?

• 言い換えれば、大規模なデータ セットが与えられた場合、分散型のスケーラブルな方法で上位 10 の頻度の高いアイテムをどのように見つけるのでしょうか?

一部のデバイスのサンプル データを分析するために JFreechart を使用しています。私が収集したデータは高頻度で記録されており、データを視覚化しようとすると、チャートが読めないように見えます。

私が考える1つの解決策は、ズームされていない状態で最も近いポイントをマージし、ズームするとそれらすべてを見ることです。

ズームされた状態とズームされていない状態の間でデータ ポイントを変更する方法が見つかりません。

可能かどうか知っている人はいますか？（私は他の解決策も受け入れます！:)）