一時的なネストされたデータ セット モデルの作成に関する提案を探しています。セクションを読むためのパフォーマンスを改善しようとしています。100 万ノード以下のノード ツリーがあり、頻繁に 20 ノード以上の深さがあります。ツリーには、将来の変更を入力する機能を備えた、時間の経過とともに変化する可能性のあるカテゴリが格納されます。

現在のデータ構造は一時的な隣接ノード モデルであり、時間の経過に伴うノード ツリーの変更のモデル化は単純なデータ構造では簡単です。

ノード
nodeID
[データ]

エッジ
parentNodeId
childNodeId
validFromDate
validToDate

ネストされたデータセットは非常に高速な読み取り操作を可能にしますが、ネストされたセットに関する私の現在の理解では、ツリーへの時間の経過に伴う変更はサポートされていません

ノード
nodeId
left
right
[データ]

私が考えていたことの 1 つは、特定の時点での左/右の値を反映する一連の「ネスト マップ」を作成することでしたが、これは、時間の経過に伴う単一の変化がモデル化されるたびにノード ツリー全体を再作成することを意味します。変更が頻繁に行われるため、「Nests」データセットのサイズが大きすぎます。

ネスト
nodeId
left
right
validFromDate
validToDate

一時的なネストされたデータセット モデルを作成した人はいますか、またはこの件に関する優れたリソースを知っていますか?

別のフィールド「ステータス」に沿って、日時情報を含む600 000 x / yポイントのデータフレームがあり、追加の説明情報があります

私の目的は、各レコードに対して次のとおりです。

• 特定の時空間バッファ内にあるレコードごとに列「ステータス」を合計します

特定のバッファーは t - 8 時間以内で、100 メートル未満

現在、パンダデータフレームにデータがあります。

行をループして、各レコードについて、関心のある日付をサブセット化し、距離を計算して、選択をさらに制限することができます。ただし、非常に多くのレコードがあると、それでもかなり遅くなります。

• これを実行するには 4.4 時間かかります。

x、y、日付をエポック時間として 3 次元の kdtree を作成できることがわかります。ただし、日付と地理的な距離を組み込むときに、距離を適切に制限する方法がわかりません。

テスト用の再現可能なコードを次に示します。

輸入

データの作成

np.random.seed(111)

テストデータを生成する機能

高速化する機能

コードを実行して時間を計る

ベクトル化された方法でこのクエリを実行する方法はありますか? それとも、別のテクニックを追求する必要がありますか。

<3

私はpythonが初めてです。テキストから日時固有の情報を抽出/タグ付けする方法を探しています。例: 1.明日
会います2. 2 週間前 に送信しました 3. 30 分待っています

nltk_contrib から timex を見つけましたが、いくつかの問題が見つかりました https://code.google.com/p/nltk/source/browse/trunk/nltk_contrib/nltk_contrib/timex.py

b. Ground に渡された Date データ型がわからない (tagged_text, base_date)

c. 日付、つまり日レベルの粒度のみを扱います。次の1時間などの表現が見つかりません。

ご協力ありがとうございました

発生しなかったイベントを検出する方法を探しています。例: イベント B は、イベント A の 15 分以内に発生する必要があります。Esper には「time:interval」があり、Drools Fusion には「window:time」と「After」があります。

ここで、テーブル A は非一時的です。id 列と type 列のみを持つ

挿入に失敗しました 3707: 構文エラー

基本的に、一時的な選択クエリの結果を非一時的な揮発性テーブルに挿入したいと考えています。

どんな助けでも大歓迎です。

さまざまな時期に作成された多数のドキュメントがあります。これらのドキュメントを一時的にクラスター化したいと考えています。

つまり、関連するタイムスタンプを持つドキュメントのグループにドキュメントをクラスター化したいと考えています。たとえば、時間 X に作成されたドキュメントの数に「スパイク」がある場合、それらは同じクラスターにグループ化されます...

クラスターがいくつあるかわからないと仮定します。

「startTime」値オブジェクトを持つ集約ルートがあります。さまざまな時点で、AR がさまざまな動作 (AR の内部と外部の両方) を強制するために "開始" したかどうかを判断する必要があります。また、パフォーマンス上の理由から、ストレージ層で集約ルートを「開始」状態でフィルタリングできるようにする必要もあります。

これを DDD に適した方法で実装する方法がわかりません。状態の変更を外部ソース (スケジュールされたイベント ハンドラー) に公開し、状態を明示的に定義することを検討しました。

これには、ストレージ レイヤーでのクエリが簡単であるという利点がありますが、startTime 値オブジェクトが冗長になり、AR が定義された startTime で状態を切り替えることを強制するものがドメイン内にないため、奇妙に思えます。

また、「now」と「startTime」の比較に基づいて状態を暗黙的に定義することも検討しました (AR の構築時または getter のいずれかで、例は getter にあります)。これは、AR が自身の状態などを完全に制御できることを意味しますが、このロジックを複製せずに状態によってストレージ レイヤーでクエリをフィルター処理できないことを意味します (保守性に問題があります)。

時限ベースの状態変化を処理するための既存のパターンはありますか? これにアプローチするより良い方法はありますか？

私は時間オントロジーを発見し、時間と日付のモデル化にどのようにアプローチしたかを見ました。オントロジーのすべてのモデリング要素または公理の作成にタイムスタンプを付ける方法があるかどうか疑問に思っていましたか? たとえば、個人として「Fred」を追加した後、その作成にタイム スタンプを付けるオントロジー オーサリング ツールはありますか?

または、これを自動化する方法を考えられますか?

私はOWL APIを直接使用しています。そこで、システムから日付と時刻の変数を読み取ることができ、時間オントロジーのようなプロパティ (:hour、:day など) があれば、システムの情報を追加してこれらのフィールドに入力できると考えました。それは良い考えのように聞こえますか？または、これに対するよりインテリジェントな方法はありますか。

私は、より効率的であり、些細な情報の提出でユーザーをそれほど悩ませない例を探しています。