問題タブ [data-mining]

私は最近、約 10 フィート (飛行中に取得したデータから計算) の精度を持つ気圧高度計を搭載したロケットを打ち上げました。記録されたデータはサンプルごとに 0.05 秒の時間単位であり、飛行全体をズームアウトすると、高度と時間のグラフはほぼ同じように見えます。

問題は、データから速度や加速度などの他の値を計算しようとすると、測定値の精度が計算値をほとんど価値のないものにすることです。速度と加速度の妥当な値を計算 (または概算) できるように、データを平滑化するにはどのような手法を使用できますか? 主要なイベントが時間内に残っていることが重要です。最も顕著なのは、最初のエントリの 0 と飛行中の最高点 (2707) です。

高度データが続き、地表からのフィートで測定されます。最初の時間は 0.00 で、各サンプルは前のサンプルから 0.05 秒後です。飛行開始時のスパイクは、リフトオフ中に発生した技術的な問題によるものであり、スパイクを取り除くことが最適です。

私は当初、近くのデータポイントを平均化する線形補間を使用しようとしましたが、統合に十分なほどデータを平滑化するのに多くの反復が必要でした.曲線の平坦化により、重要な遠地点と地上レベルのイベントが削除されました.

すべてのヘルプは大歓迎です。これは完全なデータ セットではないことに注意してください。データを分析するためのより良い方法についての提案を探しています。変換されたデータ セットで誰かが返信するのではありません。必須ではありませんが、完全な飛行データを知らなくても現在の高度/速度/加速度を予測できるアルゴリズムを将来のロケットに搭載するとよいでしょう。

次元削減とは正確にはどういう意味ですか？

その意味を調べたところ、生データをより有用な形式に変換することを意味していることがわかりました。では、有用な形式のデータを持つことの利点は何ですか？つまり、実際の生活（アプリケーション）でデータをどのように使用できるのでしょうか？

Apriori アルゴリズムの最小信頼値と最小サポート値の適切な値は? どうすればそれらを微調整できますか? それらは固定値ですか、それともアルゴリズムの実行中に変化しますか? 以前にこのアルゴリズムを使用したことがある場合、どの値を使用しましたか?

データ マイニングに関する質問に使用しているフォーラムはどれですか? SO は主にプログラミング用であり、DM の質問用ではありません。

画像に固有のデータ マイニングに役立つ Java フレームワークを探しています。分類して分類したい歴史的な画像のセットがあります。weka http://www.cs.waikato.ac.nz/ml/weka/や Marsyas http://marsyas.sness.netのようなものを見つけたいと思っていましたが、画像データをふるいにかけてパターンを見つけることに特化しています. 助言がありますか？

私の上級プロジェクトでは、Web ページの主要なカテゴリを決定しています。私は dmoz をクロールしました。今私はarffを構築しようとしています。その後、いくつかの特徴抽出方法と分類アルゴリズムを使用します。Web マイニングの分類アルゴリズムで、どの特徴抽出方法が適切に機能するか知っていますか?

データベースを調べて、通常とは異なる値を特定するためのツールまたはシステムを探しています。リアルタイムチェックを行うために何も必要ありません。夜間またはスケジュールされたポイントで処理を行うシステムだけです。私は2つのレベルのシステムを探しています：

1. データベース全体：例：すべての従業員の給与を比較し、平均から低すぎるまたは高すぎる給与を特定します。

2. 従業員ごと：例：従業員の給与履歴を確認し、従業員の通常とは異なる支払いを特定します。

上記の2つは単なる例であり、たとえば、ATMの引き出し、ショッピングの注文履歴、請求書の履歴などの場合を考えてみましょう。

データセット ( data.matrixという名前のデータフレーム) に対してクラスター分析を実行した後、各インスタンスが属するクラスター名を含む、クラスターという名前の新しい列を末尾 (列 27) に追加しました。

私が今欲しいのは、各クラスターの代表的なインスタンスです。クラスターの重心から最小のユークリッド距離を持つインスタンスを見つけようとしました (そして、クラスターごとに手順を繰り返します)。

これが私がしたことです。他の - おそらくもっとエレガントな - 方法を考えられますか? (null のない数値列を想定します)。

だから私はレポートから知識を推測する方法について研究しています（特定の形式ではありません）が、前処理の後、何らかの形式のデータが必要です。

かなり基本的な推論は、「小売業者は X 株を持っている」です。および「X は販売可能」です。-> 「小売業者が X を販売する」私が焦点を当てている知識は小売分野向けであり、可能であれば反復ごとにその効率を改善する必要があります。

これはSFですか？私がオンラインで見つけた関連するものは、異常、ファジー推論システム、および「簡単な知識」についてのいくつかの暴言を見つける「エキスパートシステム」です。

いくつかの研究の方向性に焦点を当てたり方向付けたりするためのポイントを教えてもらえますか?

ブルーオメガ

私が所有するフォーラムから収集した大量のデータがあり、テキスト マイニングを行うか、言語ライブラリを使用して有用な情報を抽出したいと考えています。

任意のテキスト マイニング、任意の言語のデータ マイニング ライブラリで十分です。

ありがとうございました。