問題タブ [large-data]

データベースに約 7,000 行のテーブルがいくつかあり、カスタム形式のピボット テーブルのような詳細を使用して Web サイト (asp.net) でレポートを作成する必要があります。

たとえば、この量のデータでリピーターをレンダリングすると非常に遅くなるため、これに対する最善の解決策は何ですか。

アドバイスをありがとう

3D 点群データセットにラベルを付けるにはどうすればよいですか? x、y、z 値を含むテキスト ファイルを読み込んで視覚化し、ラベルを付けることができるソフトウェアはありますか?

私はスタック オーバーフロー データ ダンプを調査してきましたが、これまでのところ、使いやすい XML と正規表現による「解析」を利用しています。さまざまな Haskell XML ライブラリを使用して、特定のユーザーによるドキュメント順の最初の投稿を見つけようとした私の試みはすべて、厄介なスラッシングに遭遇しました。

タグスープ

hxt

xml

どこで私は間違えましたか？Haskell で大量の XML ドキュメントを処理する適切な方法は何ですか?

ユーザーのテーブルがあります-そこには約数百万の行が含まれています（user-idが主キーです）。

ユーザーIDとその参加日を取得したいだけです。

使用SELECT user-id, joining-date FROM usersには多くの時間がかかります。このテーブルから同じデータをクエリ/取得する高速な方法はありますか？

カンマ区切りのデータファイルをMatlabに読み込む方法についてアドバイスはありますか？ヘッダー情報が複数行あるため、単純なソリューション（dlmread、fscanfなど）は機能していないようです。私が解決策に最も近いのは次のとおりです。

ここでの問題は、たとえばデータが次のようになることです。

マトリックスに変換する場合、セル内のすべての文字列は同じサイズである必要があります。そうでない場合、「vertcat」を使用したエラーが発生します。他に選択肢がない場合は、メモ帳などのヘッダーを削除することもできますが、多くのファイルがある場合、これは面倒な作業になります。

良い一日。

boost::asio を使用して、ネット経由で大きなオブジェクトを受信して​​います。

そして、私はコードを持っています:

どこでMy_Class * Obj。そのアプローチが可能かどうかは疑問です（ここにオブジェクトへのポインタがあるため）？または、バイト単位の固定サイズのパケットを使用してこのオブジェクトを受信するにはどうすればよいでしょうか?

前もって感謝します。

I've got a text file of words and word frequencies. It's very large - theoretically we're talking millions of rows.

I just want to retrieve values from the file, and do it as quickly and efficiently as possible (for a web app, in Django).

My question is: what is the best way to store and retrieve the values? Should import them into SQL? Or keep the file and use grep? Or put them into a JSON dictionary...? Or some other way?

Would be very grateful for advice!

私はsmartgwtを使用しています。巨大なデータを読み込もうとすると、エクスプローラーが実行されず、エラー メッセージが表示されます。"A script on this page is causing Internet Explorer to run slowly. If it continues to run, your computer may become unresponsive. Do you want to abort the script?"

Amazon MapReduce を除いて、大量のデータを処理するために他にどのようなオプションが必要ですか?

非常に大きなデータ セット (最大 300 万レコード) があり、毎日のスケジュールで更新と新しいレコードをマージする必要があります。レコード セットを実際に 1000 個のレコード チャンクに分割し、MERGE一時テーブルでコマンドを使用して、データの更新中にライブ テーブルがロックされないようにするストアド プロシージャがあります。問題は、それがまったく役に立たないことです。テーブルは依然として「ロックアップ」しており、データにアクセスしようとすると、データを使用する Web サイトがタイムアウトを受け取ります。私はそれを 100 個のレコード チャンクに分割してみましたWAITFOR DELAY '000:00:5'。それはまだかなり鈍いです。

テーブルをロックせずに大量のデータをマージする方法に関する提案、ベスト プラクティス、または例を探しています。

ありがとう