問題タブ [bulk]

こんにちは！

220,000 個のファイルに4.6GB のテスト データがあります。一括テストでは、ファイルのペアを検索、照合、および解凍する必要があります。各ペアで複数の単体テストを実行したいと考えています。そのデータを必要とする単体テストの数に関係なく、テスト データを 1 回だけ検索、照合、および解凍するようにテスト フレームワークを説得できなければ、非常に長い時間がかかります。

NUnit の TestDataSource は 1 つの単体テストだけに適しているように見えましたが、複数の単体テストで深さ優先で実行されるようです。各テストは、データ セット全体を次々と実行します。

幅優先を実行し、各データを 1 回ロードして複数の単体テストに提供できるテスト フレームワークはありますか?

合格または最初の不合格の結果だけでなく、各データムのすべてのテスト結果を得るために、他にどのようなアプローチを試すことができますか?

私は PEAR::Mail を初めて使用します。大量のメール (10,000 件以上のメール) を送信する方法を教えてくれるチュートリアルを探しています。「php で mail() を使用するのは効率的ではありません。smtp ソケットを開いたり閉じたりするためです」、これは私がインターネット ソースから読んだものです (リンクが見つかりませんでした、grrr)。

というわけで、手動でやろうと思っていて、PHP で使えるメールライブラリを使ってみたら、この PEAR:Mail を見つけました。PEAR サイト自体には、「Sending Multiple Recipients」という簡単なチュートリアルがあり、すべての受信者が配列に挿入されてから送信されます。これは 10k++ メールを送信する方法ですか? 「メール キュー」と呼ばれるものを覚えていますが、PEAR:Mail での使い方がよくわかりません。誰か助けてくれませんか?

Facebook が大量のメール (通知) を送信するために for ループを使用するとは思いませんよね? （まあ、これは私が考えたものです）

Java を使用してデータストアから不要なデータを削除しようとしていますが、10 秒でできるだけ多くのエントリを削除するように変更した DatastoreService を使用するコードを見つけました。

これを実行するとうまくいくようです。コンソールのデータ ビューアーを確認すると、削除しようとしている種類 ("PostalCodes") がなくなっていますが、これを行った翌日にはすべてが復元されています。フラッシュまたはコミットなどの呼び出しがありませんか?!?

これを行うより良い方法はありますか？

1 億 5000 万以上のレコードを持つテーブルがあります。すべての行をクリア/削除する必要があります。t-logs への書き込みが原因で、削除操作に時間がかかり、DB 全体の復旧モデルを変更することはできません。テーブルの切り捨てオプションをテストしました。

truncate はテーブルからページの割り当てを解除し、私が間違っていなければそれらを再利用できるようにしますが、データベースを自動的に縮小しません。したがって、DB サイズを縮小したい場合は、テーブルを切り捨てた後に、shrink db コマンドを実行する必要があります。

これは通常の手順ですか？注意する必要があること、または注意する必要があること、またはより良い代替手段はありますか?

名前を変更しようとしているファイルがたくさんあり、それらに一致する正規表現を作成しようとしましたが、ファイルに行き詰まったとしても、次のような名前が付けられています。

ファイル名01

ファイル名100

ファイル名02

ファイル名03

など、次のように、100未満のファイルの後ろに「0」（ゼロ）を追加したいと思います。

ファイル名001

ファイル名100

ファイル名002

ファイル名003

それらを一致させるのに最も近いのは、このfind -typed|を使用することでした。並べ替え-r| grep'[1-9] [0-9] $'しかし、それらを置き換える方法がわかりませんでした。あなたが私に提供することができるどんな助けにも前もって感謝します。CentOSでそれが助けになるなら、これはすべてSSH経由で行われています。

特定の日付が発生したとき、またはいくつかのビジネス条件が満たされたときに、自動電子メールを送信する機能が必要です。このシステムは、既存のASP.NETWebサイトで動作するようにセットアップしています。私はここで他の開発者の1人とチャットし、いくつかの問題について話し合いました。

注意事項：

• 必要なすべての情報は、ASP.NETWebサイトで既にモデル化されています
• すでにウェブサイトにある電子メールの生成に必要ないくつかのビジネスロジックがあります

理想的な解決策は、夜間に実行され、処理と電子メール送信を行うようにスケジュールされた別の実行可能ファイルを用意することであると判断しました。このソリューションには2つの主な問題があります。

• Webサイトが更新された（ビジネスロジックまたはモデル）が、実行可能ファイルが誤って失われた場合、実行可能ファイルは電子メールの送信を停止する可能性があり、さらに悪いことに、古いロジックに基づいて電子メールを送信する可能性があります。
• このようなものを使用して、UserControlsを使用して電子メールをテンプレート化することを望んでいます。これは、ASP.NETWebサイトの外部では不可能だと思います。

最初の問題は、ビルドおよびデプロイメントスクリプト（とにかく現在調査中です）で回避できた可能性がありますが、2番目の問題を回避できるとは思いません。

したがって、私たちが決定した解決策は、SSISによって定期的に呼び出されるASP.NETページを用意し、それが設定された量の処理（たとえば、30秒）を実行してから戻るようにすることです。ASP.NETページはこの種の処理を行うのに理想的な場所ではないことは知っていますが、これは私たちの要件を最もよく満たしているようです。処理を行うために（ワーカープールからではなく）新しいスレッドを生成することを検討しましたが、そうすると、返されたページを使用して成功または失敗を示すことはできないと判断しました。ページのライフサイクル内で処理することにより、ページのコンテンツを使用して、処理がどのように行われたかを示すことができます。

したがって、問題は次のとおりです。この設定で発生する可能性のある技術的な問題はありますか？

明らかに、このようなことを試したことがあれば、成功/失敗の報告をいただければ幸いです。代替設定の提案も同様です。

乾杯、

JConnect（を使用ENABLE_BULK_LOAD）を介してSybase ASEに一括挿入する例を誰かが提供できますか？

私はインターネットを精査しましたが、何も見つかりませんでした。

ここに何か欠けているかどうかはわかりません。基本的に、次の SQL ステートメントを実行するために Linq to Nhibernate を探しています。

それを行う方法はありますか？

ありがとう！

smallintSortOrderフィールドを持つ写真を格納するSQLテーブルがあります。ユーザーは、新しい写真を挿入し、10進数の並べ替え順序を指定して、2つの既存の写真の間（または最初の写真の前）に新しいレコードを配置できます。SortOrderはsmallintとして保存されるため、挿入によって既存のレコードがシフトすることを検出したら、影響を受けるすべての写真を更新して、SortOrderを1つインクリメントする必要があります。

これはストアドプロシージャで簡単に実行できますが、LinqtoSQLを使用してこれを実現するための最も効率的な方法を探しています。すべてのレコードをクライアントにプルダウンし、更新してから送信する必要がある場合は、すでに機能していて非常に高速なストアドプロシージャを使用します。

レコードをシフトするT-SQLは次のとおりです。

レコードをフェッチせずに、LinqからSQLへのこの種の一括更新を行う方法はありますか？