私は EBS、外国為替市場の指値注文帳 (LOB) に取り組んでいます: 100 ミリ秒のタイム スライスでの LOB の例を次に示します。
datetime|side(0=Bid,1=Ask)| distance(1:best price, 2: 2nd best, etc.)| price
2008/01/28,09:11:28.000,0,1,1.6066
2008/01/28,09:11:28.000,0,2,1.6065
2008/01/28,09:11:28.000,0,3,1.6064
2008/01/28,09:11:28.000,0,4,1.6063
2008/01/28,09:11:28.000,0,5,1.6062
2008/01/28,09:11:28.000,1,1,1.6067
2008/01/28,09:11:28.000,1,2,1.6068
2008/01/28,09:11:28.000,1,3,1.6069
2008/01/28,09:11:28.000,1,4,1.6070
2008/01/28,09:11:28.000,1,5,1.6071
2008/01/28,09:11:28.500,0,1,1.6065 (I skip the rest)
データを要約すると、2 つのルールがあります (簡単にするために少し変更しました)。
Bid または Ask 側の LOB に変化がない場合、その側は記録されません。データの最後の行を見てください。ミリ秒は 000 でしたが、現在は 500 です。これは、100、200、300、および 400 ミリ秒の間、LOB で変更がなかったことを意味します (ただし、これらの情報は計算にとって重要です)。
最後の価格 (最後の価格のみ) は、オーダー ブックの特定の側から削除されます。この場合、価格フィールドに何もない単一のレコードです。この場合も、LOB 全体のレコードはありません。
例:2008/01/28,09:11:28.800,0,1,
minAsk-maxBid(1.6067-1.6066) または加重平均価格を計算したい (すべての距離のサイズを重みとして使用し、実際のデータにはサイズ列があります)。私は自分のデータ全体に対してやりたい。しかし、ご覧のとおり、データは要約されており、これは日常的ではありません。(要約だけでなく) データ全体を生成するコードを作成しました。これは小さなデータ セットでは問題ありませんが、大きなデータ セットでは巨大なファイルを作成しています。データを処理する方法について何かヒントがあれば教えてください。ギャップをいかに効率よく埋めていくか。