問題タブ [batch-processing]

私は、ビジネス ユーザーがデータ操作と処理のための多数のルールを定義するアプリケーションの構築を任されています (たとえば、1 つの数値を取得し、ルールで指定された条件に基づいて選択された多数のレコード間で均等に分割します)。 .

毎月、定義されたルールに従って約 50 万件のレコードを処理するために、バッチ アプリケーションを実行する必要があります。各レコードには約 100 のフィールドがあります。環境は、サード パーティのルール エンジンを使用した .NET、C#、および SQL サーバーです。

8 時間から 10 時間程度の時間枠内でレコードを処理することが要件である場合、どのような種類のハードウェアが最適かを定義および/または確認する方法を提案していただけますか。ユーザーがハードウェアのコストに応じて期間を延長または短縮したい場合、仕様はどのように変化しますか?

前もって感謝します

アビー

特定の時間に起動するようにシステムにリマインダーを設定しようとしています。

これは Web ベースのアプリなので、常にメモリ内にあるわけではありません。

理想的には、サーバー上でサービスまたはジョブを使用することを避けたいと思います(主に好奇心から、より効率的な方法があるかどうかを確認します)

たとえば、eBay の入札が絶え間なく終了し、時間通りにメールが送信されていることを想像してみてください。

アイテムをキューに移動するなど、大きなループが何度も繰り返されていることを人々は認識していますか...または、より低いレベルの支援（ストアドプロシージャ、トリガーなど）がありますか？

みんな、ありがとう。

問題仕様:

ディレクトリを指定して、ディレクトリとその非表示でないサブディレクトリを反復処理し、
 非表示でないファイルの名前にワールプール ハッシュを追加します。
スクリプトを再実行すると、古いハッシュが新しいハッシュに置き換えられます。

<filename>.<extension>   ==>  <filename>.<a-whirlpool-hash>.<extension>

<filename>.<old-hash>.<extension>   ==>  <filename>.<new-hash>.<extension>

質問：

a) どのようにこれを行いますか?

b) 利用可能なすべての方法の中で、あなたの方法が最も適しているのはどれですか?

評決：

おかげさまで、速度と移植性のために SeigeX の回答を選択しました。
これは経験的に他の bash バリアントよりも高速であり、
 私の Mac OS X マシンでは何も変更せずに動作しました。

この問題のベストプラクティスは何ですか? 組み込みのバッチ処理機能はありますか?

サンプルコード:

前もって感謝します。

私は MATLAB と画像処理の初心者です。

バッチ処理を使用しようとしているときに問題が発生しました。誰かが私を啓発できることを願っています。ありがとう。

MATLAB の例に従って、次のことを行いました。

関心領域を選択したかったので、

ROI を選択した後、エディターで関数を作成しました。

コマンド ウィンドウに戻り、次のように入力しました。

出てきた数字は私が期待したものでした。

画像をループしようとすると、問題が発生します。正しくやったかどうかはわかりません。

例に従って、エディターで別の関数を作成しました。

コマンド ウィンドウで、次のように入力しました。

しかし、結果は私が望んでいたものではありませんでした。私が望んでいたのは ROI ではありませんでした。誰でもこれで私を助けることができますか？どうもありがとうございました。

写真1:

ROI を選択した後の画像 1:

私は現在、次のように私の要件に対処するために、どの Java 互換ソリューションが存在するかを調査しています。

• バッチ処理するタイマーベース/スケジュール可能なタスク
• 分散型であり、それによって水平方向にスケーリングする機能を提供します
• 回復力、SPFなしでお願いします

これらのタスク (重い XML 生成、および Web ベースの受信ノードへの配信) の性質は、Quartz のようなものを使用して単一のサーバーでそれらを実行できないことを意味します。

Hadoop や JavaSpaces などのテクノロジーが、問題のスケーリングと回復力に効果的に対処したと聞いたことがあります。これらが私の要件に非常に適しているかどうかがわからないため、他のどのテクノロジが適切に適合するかを知るのは困難です.

私は、この分野の人々が利用可能なオプションについてどのように感じているのか、そしてそれぞれがどのように強みを発揮し、特定の問題に他のものよりも適しているのか、本当に疑問に思っていました.

NB: スケジュール機能は、おそらく現在のやり方に由来するものであることは注目に値します。はい、特定の時間に実行する必要があるタスクがあります。また、設定された時間の義務が存在しないときにスループットを調整するためにも使用されています。

データベース テーブルからレコードを収集し、WCF サービスの要求オブジェクトを作成し、このオブジェクトを処理のためにサービスに渡し、応答オブジェクトを受信する SQL 2005 ジョブの一部として実行するコンソール アプリを構築する予定です。ログテーブルをそのデータで更新します。これは、ジョブ ステップが実行されるたびに少なくとも数千のレコードを処理するためのものです。

WCF サービスは現在、テーブル内のレコードごとに 1 回ヒットする単一のメソッドを公開しているため、サービスへのチャネルを開き、処理中に開いたままにしてから、閉じて破棄するなどの場合を想像します。完了。

接続を維持する以外に、このコンソール アプリのパフォーマンスのボトルネックを最小限に抑えるにはどうすればよいでしょうか? コンソール アプリを使用するのではなく、代わりに SQLCLR またはその他の手段を使用してこの処理を実行する必要がありますか?

次の動作に気付きました。

数千行を含む約 3MB のファイルがあります。行で、準備済みステートメントを分割して作成します (約 250 000 ステートメント)。

私がすることは：

最後に

メモリ使用量は、メモリ不足エラーなしで約 70 MB まで増加します。メモリ使用量を下げることは可能ですか? トランザクションの動作があります (1 つが失敗すると、すべてが失敗します)。executeBatchand ...を使用してコミットすることでメモリを減らすことができましたclearBatchが、これにより、セット全体の部分的な挿入が発生します。

YouTubeのユーザーのプレイリストに動画を追加するPythonを使用したアプリケーションを作成しています。これを一度に実行すると、Youtubeは私のリクエストを抑制し始めます。

一度に50件のリクエストを送信できるバッチ処理APIがありますが、バッチ処理リクエストを送信する方法がドキュメントからわかりません。それに関する唯一の情報は、リクエストのために送信する必要のあるXMLコンテンツをカバーしています。

バッチ処理リクエストを送信する方法を知っている人はいますか？