kdb - Q /kdb+はログファイルをチャンクごとに読み取ります

Question

メモリが大きすぎて一度にロードできないログファイルをロードする必要があるタスクがあります。したがって、さまざまなチャンクでファイルをロードする方法が必要です。

そんなこと知ってる：

-11!(n; filename)

ファイルから最初のn個のチャンクをロードしますが、残りのチャンクをロードするにはどうすればよいですか？

ありがとう！

Answer 1

典型的な tickerplant セットアップの場合、ログ ファイルはおそらく関数 upd を呼び出します。その関数をオーバーライドして、2 回目の実行で初期値を無視し、それらをテーブルに挿入せずに、読み込みを部分に分割できるようにします。

upd:{i+:1; if[i within 100000 200000; ignore x; storeSomewhere x]};

次に、ファイル全体を再生します-11!。if 句の条件を変更して、実際に格納する部分を制御します。