私が使用しているスタックには、tornado(async) と mongodb(motor) が含まれています。リクエスト データを処理するための次のアルゴリズムがあります。
- 着信リクエストからのデータは、イベント固有のコレクションに保存されます
- データは統合イベント コレクションに保存されています
リクエスト ハンドラのコードは次のとおりです。
class EventHandler(BaseHandler):
""" Handles all event requests
"""
@gen.coroutine
def post(self):
""" Posts an event data
"""
yield gen.Task(self.check_auth)
self.validate_data()
yield self._save_user()
status_msg = yield self.save_entity()
yield self.save_event()
self.set_status(200, reason="OK, {}".format(status_msg))
そして、これがリクエストハンドラーから呼び出されるメソッドのコードです
@gen.coroutine
def save_entity(self):
""" Saves event entity data for proper collection. Entities: orders, pageviews, users etc
"""
event = self.data.get("event_type")
if event not in self._event_schema_map.keys():
raise Return("No specific entity, just event")
try:
if event == "cart_add":
msg = yield gen.Task(self._save_product)
elif event == "cart_delete":
msg = yield gen.Task(self._delete_product)
elif event == "pageview":
msg = yield gen.Task(self._save_pageview)
elif event == "order_complete":
msg = yield gen.Task(self._save_order)
elif event in ["email_known", "email_form"]:
msg = yield gen.Task(self._save_email)
except Exception as e:
raise HTTPError(500, log_message=str(e))
raise Return(msg)
@gen.coroutine
def save_event(self, event=None, event_type=None, event_data=None):
""" Saves event data to db. Works both as standalone method and as plug-in method
:param event: event name
:param event_type: event type
:param event_data: dict with event-specific infoelements data
"""
yield self.motor.events.insert(
{
"client_id": self.data.get("client_id"),
"user_id": self.data.get("user_id"),
"timestamp": datetime.now(),
"event": self.data.get("event", event),
"event_type": self.data.get("event_type", event_type),
"event_data": self.data.get("event_data", event_data),
"event_url": self.data.get("event_url"),
"utms": self.data.get("utms"),
"analytics_short": self.data.get("analytics_short"),
"analytics_long": self.data.get("analytics_long")
}
)
すべて_save_%smth%は単純なモーター CRUD アクションであり、関数呼び出しでカプセル化され@engine、次のようにデコレータでラップされています。
@gen.engine
def _save_product(self, callback=None):
""" Adds product to user's cart
"""
cart_data = self.data.get("event_data")[0]
try:
yield self.motor.users.update(
{"_id": self.data["user_id"], "client_id": self.data["client_id"]},
{
'$set': {
"cart_updated_at": datetime.now(),
"reminder": False,
},
'$push': {
"items": {
"product_id": cart_data.get("product_id"),
"image": cart_data.get("image"),
"title": cart_data.get("title"),
"price": int(cart_data.get("price"))
}
}
},
upsert=True
)
except Exception as e:
raise HTTPError(500, log_message=str(e))
callback("New product in cart record added")
@gen.engine
def _save_order(self, callback=None):
""" Saves order data to user's orders
"""
order_data = self.data.get("event_data")
try:
yield self.motor.orders.update(
{"user_id": self.data["user_id"], "client_id": self.data["client_id"]},
{
'$push': {
"orders": {
"completed_at": datetime.now(),
"analytics_short": self.data["analytics_short"],
"analytics_long": self.data["analytics_long"],
"utms": self.data["utms"],
"items": [
{
"product_id": i["product_id"],
"price": int(i["price"]),
"quantity": int(i["quantity"])
}
for i in order_data
]
}
}
},
upsert=True,
)
except Exception as e:
raise HTTPError(500, log_message="Error in order updating: {}".format(e))
try:
yield self.motor.users.update(
{"_id": self.data["user_id"], "client_id": self.data["client_id"]},
{
"$unset": {
"cart_created_at": '',
"cart_updated_at": '',
"reminder": '',
"items": ''
}
}
)
except Exception as e:
raise HTTPError(500, log_message="Error in cart updating: {}".format(e))
callback("Order record added")
そのため、リクエスト データは異なるコレクションに2 回保存されます。save_entity 関数の「特定のコレクション」と、 save_event関数の「ユニバーサルコレクション」です。しかし、実際には、多くの場合(50% のケース) が失われ (データが保存されず)、2 回目の保存が実行されます。
すべてのデータ処理と検証は前に行われるため、mongo にスローされたデータが適切で有効であると仮定します。
だから私は、そのような状況がどのように起こり得るかを理解しようとしています。私の推測では、save_entity 関数の設計が不適切であり、いくつかの組み込み関数が原因で、要求自体が終了し、データがデータベースに保存されないだけです。それは可能性が？
UPDは製品コードを追加したため、状況がより明確になります。私は願っています:) UPD 2はいくつかのCRUDメソッドを追加しました