問題タブ [cluster-analysis]

コンテンツに基づいてテキストのカテゴリを自動的に見つけるにはどうすればよいですか？

マップ上のポイントのクラスタリング (緯度/経度) を検討しています。高速でスケーラブルな適切なアルゴリズムに関する推奨事項はありますか?

より具体的には、一連の緯度/経度座標とマップ ビューポートがあります。混乱を取り除くために、互いに接近しているポイントをクラスター化しようとしています。

私はすでに問題の解決策を持っています (こちらを参照)。問題を効率的に解決する正式なアルゴリズムがあるかどうか疑問に思っているだけです。

階層的クラスタリングに役立つアルゴリズムはありますか？Googleのmap-reduceには、kクラスタリングの例しかありません。階層的クラスタリングの場合、ノード間で作業をどのように分割できるかわかりません。私が見つけた他のリソースは次のとおりです。http：//issues.apache.org/jira/browse/MAHOUT-19 しかし、どのアルゴリズムが使用されているかは明らかではありません。

ユーザーが相互作用するアプリケーションがあります。これらのインタラクションを視覚化して、ユーザーのクラスターが存在するかどうか（どのインタラクションがより頻繁に発生するか）を判断できるようにします。

各ユーザーに2Dポイントを割り当てました（各座標は0から1の間です）。私の考えでは、2人のユーザーが対話すると、「魅力的な力」である2つのユーザーのポイントが互いに近づき、対話ログを何度も繰り返し調べます。

もちろん、ユーザーを引き離す「反発力」が必要です。そうしないと、すべてが1つのポイントに崩壊します。

最初に、各XY座標の最低と最高を監視し、それらの位置を正規化しようとしましたが、これは機能せず、インタラクションの数が少ない少数のユーザーがエッジに留まり、残りはすべて中央に崩壊しました。

ユーザーが対話するときのユーザー間の「魅力的な」力と、すべてのユーザーが1つのポイントに崩壊するのを防ぐ「反発する」力の両方について、ポイントを移動するために使用する方程式を知っている人はいますか？

編集：質問に答えて、私は約100万人のユーザーと、ユーザー間の約1,000万人のインタラクションを扱っていることを指摘する必要があります。誰かが私のためにこれを行うことができるツールを推薦することができれば、私はすべての耳です:-)

私が取り組んでいるサイトのユーザーのために「隣人」(似たような趣味を持つ人々) を生成するテクニックを探しています。last.fm の動作に似たもの。

現在、私はユーザー向けの互換性機能を持っています。1) 同様のアイテムを評価したこと、2) 同様にアイテムを評価したことでユーザーをランク付けします。この関数の重みは 2 倍高くなります。これは、「近隣」を生成するときにこれらの要因の 1 つだけを使用する必要がある場合に最も重要になります。

私が持っていた 1 つのアイデアは、ユーザーのすべての組み合わせの互換性を計算し、最も評価の高いユーザーをそのユーザーの隣人として選択することです。これの欠点は、ユーザー数が増えると、このプロセスに非常に長い時間がかかる可能性があることです. ちょうど 1000 人のユーザーの場合、1000C2 (0.5 * 1000 * 999 = = 499 500) の互換性関数呼び出しが必要で、サーバーにも非常に負担がかかる可能性があります。

ですから、このようなシステムを実現するための最善の方法について、アドバイスや記事へのリンクなどを探しています。

セッション変数は通常、Web サーバーの RAM メモリに保持されます。

クラスターでは、クライアントによって行われた各要求は、異なるクラスター ノードによって処理されます。右？！

だから、この場合...

• セッション変数はどうなりますか? それらはノードのRAMメモリに保存されていませんか?
• セッション変数がない場合、または少なくともすべてのセッション変数がない場合、他のノードはどのようにリクエストを正しく処理しますか?
• この問題は、Web サーバー (Apache、IIS) または言語ランタイム (PHP、ASP.NET、Ruby、JSP) によって処理されますか?

編集: Classic ASPの解決策はありますか?

アプリケーションに送信される結果の数を減らすために、データベースを使用して緯度/経度の結果をクラスター化する方法を誰かが知っているかどうかを確認しようとしています。

クライアント側またはサーバー（アプリケーション）側のいずれかでクラスタ化する方法に関する多くのリソースがあります..データベース側ではありません:(

これは、仲間の SO メンバーからの同様の質問です。ソリューションはサーバー側ベースです (つまり、C# コード ビハインド)。

これを解決する運や経験はありますが、データベースではありますか? ハンサムでセクシーな DB チャレンジを求めているデータベースの第一人者はいますか?

助けてください ：）

x編集 1: 明確化 - クラスタリングにより、エリアのポイント数を 1 つのポイントにグループ化することを望んでいます。したがって、すべてを 1 マイル / 1 km の正方形にクラスター化すると、その「正方形」内のすべての結果が 1 つの結果にグループ化されます (たとえば、正方形の中央)。

編集 2: 私は MS Sql 2008 を使用していますが、他の DB に他のソリューションがあるかどうかを聞くことができます。

まず、私の下手な英語で申し訳ありません。私は自分の問題を説明しようとします。

次のように、スクリプト内で psexec を使用してクラスターを再起動しています。

node1 の script1: node1 で多くのタスク (サービスのシャットダウン、ステータスの確認など) を実行し、すべてのタスクが完了したら、psexec で node2 の script2 を起動します (psexec-d \ \ node2 script2)

node2 の script2: 多くのタスクを実行し、node1 で script3 を起動します。これは、node1でscript3を実行しようとしたときに、psexecで「アクセスが拒否されました」を受け取ったときです。(psexec-d\\nodo1 script3)

グループ管理者に属するユーザーでスクリプトを起動します

セキュリティ上の理由から、資格情報を .bat ファイルに残すのは安全ではないため、ユーザー名とパスワードを渡すことはできません。

追加情報：

W2k3 サーバーでスクリプトを実行しています net use を試しましたが、すべて問題ありません -u ユーザー名と -p ユーザー名を指定して psexec を試しましたが、すべて問題ありません 次の構文で psexec を実行しようとしました: psexec .exe -d \node1 cmd.exe "script3.bat" で、同じエラーが返されます。

よろしくお願いします

何千ものアドレスを含むセットがあります。各住所の経度と緯度を取得できる場合、セットを近接度別にグループに分割するにはどうすればよいですか?

さらに、さまざまなルールに従って「クラスタリング」を再試行することもできます。

• N グループ
• グループあたり M 個のアドレス
• グループ内の任意のアドレス間の最大距離

写真が撮影された日付に基づいて写真をイベントにグループ化するアルゴリズムを知っている人は誰でもいます。もちろん、日付でグループ化できますが、特定の期間の頻度に基づいて、複数日にまたがる写真をグループ化できる（可能性がある）もう少し洗練されたものが欲しいです。次のグループ化を検討してください。

• 2009/1/2 15枚の写真
• 2009/1/3 20枚の写真
• 2009/1/4 13枚の写真
• 2009/1/5 19枚の写真
• 2009/1/15 5枚の写真

これらは、次の 2 つのグループに分類される可能性があります。

1. 2009 年 1 月 2 日 -> 2009 年 1 月 5 日
2. 2009/1/15

明らかに、確立する必要がある許容範囲がいくつかあります。

私自身のトップ/ダウンアプローチを発明する以外に、これを行うための確立された方法はありますか?