問題タブ [summarization]

転置したカテゴリ (数値) ごとの投稿を含むテーブルがあります。各列名が_number、たとえば_16、_881、_853などのテーブルを取得しました(順序が正しくありません)。

それらすべての合計をproc sqlで実行する必要がありますが、データステップで変数を作成したくありません。また、すべての列名も書きたくありません。私はこれを試しましたが、うまくいきません：

最初の番号から最後まで、また最初の番号から最後の番号まで行ってみました。正しくない番号を教えてくれます。

何か案は？

ありがとう！

出力を集計する方法を理解しようとしています。実際のデータに近いダミー データをいくつか作成しました。これは、数百の group1、3 レベルの group2、および数十の検証論理です。これが単純に見える場合はお詫びします。私はたくさん探してつつきました.Rの初心者として、そこにある多種多様なツール（apply family、ddply、aggregate、table、reshapeなど）は両方とも素晴らしいと言わざるを得ません.そして少し怖い:)

次に、これらの論理を数値に変換して合計できるようにする必要があります。

最後の 2 つは近づきますが、何か違うものが必要だと思いますか? 2 つのグループの行と列の両方を合計しようとしています。私はタップリーに精通していますが、それは理解できないようです。

前もって感謝します！！

2 つの data.tables があります。別のテーブルのテーブルの組み合わせに一致する行の数をカウントしたいと思います。data.table のドキュメントを確認しましたが、答えが見つかりませんでした。私はdata.table 1.9.2を使用しています。

ここで、DT2 の (3, 8) ペアと (2, 3) ペアの数を数えたいと思います。

期待される結果：

次の式があります。

そして、その時間の複雑さを見つけたいです。マスター定理では解決できないので（誰でも確認できますか）、「手」で解決しました

木のように考えれば、一本しかないでしょうW(1)。

他のすべての についてn != 1は、合計のように書くことができます:

この質問に対する私の答えは次のとおりです。

私の問題は、この合計を単純化する方法がわからないことです!

誰かが私にそれを行う方法を説明できますか?

同じ15分間隔で一連の測定データ/時系列があります。さらに、特定の期間があります (たとえば、1 日、現在の週、月、年 (...)、時間、日、月 (...) ごとに値を要約する必要があります)。

たとえば、先月のすべての値を日別に集計します。

私のアプローチは、最初のステップで期間ごとに必要な間隔で一時的な配列を生成することです。たとえば、ここでは PHP を使用します (PHP はそれほど必要ではありません。より高速な方法が提供される場合は、Python または Javascript を使用することをお勧めします)。

2 番目のステップでは、各日付と値のペア (この例では 4*24*31 (1 日あたり 96)) をループ処理し、それらを一時配列に割り当てます。日付ごとに、datetime オブジェクトの値をいくつかオーバーライドします。この例では、一時配列のキーと一致する時間と分。

最後のステップで、一時配列をループして、各配列を要約します。その結果、日ごとに要約された 31 個の新しい日付/値のペアを含む配列を受け取ります。これはうまくいきます。しかし、より速い方法またはより効率的な方法はありますか? このアプローチでは、1 か月で約 0.5 秒かかります。(誰かがソースコードに興味を持っている場合は、要点を追加します)。データは 15 mio のエントリを持つ mysql データベース内に保存されます。

// 編集: これを mysql でグループ化するのが最善の方法だと思います。

1 年からデータを取得するための現在の SQL クエリ:

私は自然言語処理(NLTK を使用) に関する最終年度のプロジェクトを計画しており、関心のある分野はFacebook などのソーシャル メディア Web サイトからのコメントの要約です。たとえば、私は次のようなことをしようとしています:

画像内のランダムな Facebook コメント :

1. わお！美しい。
2. 本当に美しく見えます。
3. とてもきれいで、素敵な写真です。

これで、これらのコメントはすべて (テンプレート ベースのコメント要約手法を使用して) 次のようにマップされます。

3 人がこの写真を「美しい」と評価しています。

コメントでは「きれい」という言葉よりも「美しい」という言葉が一般的に使用されるため、出力は「美しい」という言葉で構成されます(また、美しいときれいは同義語であるという事実もあります)。このタスクを達成するために、次を使用します。キーワード頻度やキーワード スコアの追跡などのアプローチ(このシナリオでは、「美しい」と「きれい」のスコアは非常に近い)。 これが最善の方法ですか？

これまでの私の研究では、次の論文を思いつくことができましたが、この種のコメントの要約に対処した論文はありません。

• ソーシャル メディアからのイベントの自動要約
• 社会的状況の要約 -

同様の問題に対処するこの分野の他の論文は何ですか?

これとは別に、要約タスクごとにサマライザーを改善したいと考えています。この点で機械学習をどのように適用すればよいですか?

次のようなテーブル（StayDateと呼ばれる）があります。

私が求めている SQL 構文からの出力は、次のようにする必要があります。

上記のデータを要約するために必要な SQL 構文を教えてくれる人はいますか?