問題タブ [batch-processing]

ユーザーが Excel スプレッドシートをアップロードしてテーブルにデータをロードできる Web サイトがあります。Excel スプレッドシートには 10 万行が数行ある場合があります。彼がファイルをアップロードするとき、Web サイトはデータベース テーブルに同量の行を挿入する必要があります。

これを行うにはどのような戦略をとるべきですか？操作が完了するまで「お待ちください」のページを表示させようと思っていたのですが、そのままサイトを閲覧できるようにしたいです。また、そのときはデータベースが忙しくなるので、Web サイトの作業が滞ってしまうのではないでしょうか?

私のデータ アクセス層は NHibernate にあります。

ありがとう、Y

バッチファイルでJavaクラスを呼び出したい。どうすれば電話できますか。クラスファイルを呼び出すコマンドを教えてください

ありがとうクリシュナ

WebサイトでHTML5を使用する必要があります。

ビデオはH.264形式です。

WebKit以外のブラウザ、たとえばFirefoxはそれをサポートしていません。Firefoxは代わりにMPEG-4を必要とします。

Webを少しサーフィンしましたが、このタスクには何も見つかりませんでした。

質問は次のとおりです。

• HTML 5ビデオのすべてのビデオ/オーディオ形式をサポートする無料のバッチビデオエンコーダー（コマンドラインかどうか）をお勧めしますか？今、約20のビデオファイルを変換する必要があります。
• クロスブラウザに対応するには、他にどのようなビデオ形式を使用する必要がありますか？私はH.264、OGG、そしていくつかのWebMについて知っています（それについては決して気にしないでください）。各ブラウザでサポートされているビデオ形式のリストはありますか？

ありがとう

言及するのを忘れてください：私はMacを使用しています

ANT で 1..n ファイルの名前を変更するにはどうすればよいですか? xxxx.default.propertiesでファイルの名前を変更したいと思いますxxxx.local.properties。

ありがとうございました。

ローカルにセットアップされたMongoDBコレクションにバルクデータを追加しようとしている時間から、1つまたは複数のキーの一意のインデックスを除いてすべてが設定されます:(

私はこれを使用しました：

次に、これ（なんらかの理由で、複数のキーのインデックスが機能していないと思います）

上記の行を使用した後、phpスクリプトから（insertとbatchInsertの両方を介して）何百万もの行を挿入しようとしましたが、重複するユーザーIDが存在するたびに：'（これについて教えてください:(

画像のサブ長方形が画像の残りの部分に対して反転または回転するように画像を操作する必要があります。次に例を示します。

この操作は、（1つの画像に連続した変更を適用するのではなく）元の画像から新しい変更された画像を生成するたびに、何度も行う必要があります。

サブ長方形のサイズは体系的に変化する必要があり（おそらく10％から75％まで5％刻みで）、サブ長方形の位置はランダムに変化する必要があります。

最後に、この手順は多数の画像に対して実行する必要があります。

どうすればいいですか？

私のオプションは、PHP、C＃、またはGimpでのバッチ処理です。そうは言っても、特に賢明なアプローチがあれば、私は何か新しいことを学ぶ準備ができています。

テンプレート化されたディレクトリ構造を作成するアプリケーション (Templify) がありますが、ターゲットとして特定したもので「__NAME__」の名前を変更できないようです。

すべてのファイルとディレクトリの名前を置換テキストで変更するクリーンな方法を見つけることができれば、これで問題ありません。

ファイルの名前を変更する rename.pl メソッドを見つけました。また、ファイル名のアンダースコアを削除してスペースに置き換えるコードをいくつか見つけました。

したがって、基本的には「__NAME__」を「Project-Name」のようなものに置き換える必要があります。

将来再利用するたびに検索文字列を変更できることをうれしく思いますが、ARGS を渡すことができるファイルを作成する方法を見つけたいと思っています。

私はXPを使用しており、cygwinを使用できます（cygwinには「rename」という機能を使用してLinuxタイプのソリューションを見つけるのが難しくなる「rename」がないようです....）

現在のディレクトリ内のファイルに使いやすいこれを見つけましたが、サブディレクトリに再帰するように指示するのに十分ではありません。

どんな助けでも素晴らしいでしょう。

ありがとう、スコット

.NET 用の Oracle ドライバー (アセンブリ Oracle.DataAccess) には多くのドキュメントがありません。バッチ読み取りについてはどこで読むことができますか? または、誰かが例を提供できますか？

私の現在のプロジェクトでは、外部システムとの毎日の同期が必要です。同期は、広範なビジネス ロジックで解析および処理される複雑なインポート ファイル構造に基づいています。ビジネス ロジックのため、ストアド プロシージャや統合サービスで同じロジックを記述する代わりに、これを .NET コードで作成し、既存の BL コンポーネントを再利用することにしました。

BL レイヤーは、EF 4.0 データ アクセス レイヤーの上にあります。現在の実装プロセスでは、インポート バッチが処理され、すべての変更が ObjectContext に入力され、トランザクションで SaveChanges が実行されます。SQLプロファイラーを確認すると、EFが各エンティティの変更を単一のSQLコマンドとして実行することがわかります（DBへの独自のラウンドトリップを使用）。さらに、これらのコマンドは完全に順番に実行されているようです。したがって、最初のインポートではデータベースへの最大 100.000 ラウンドトリップがあり、毎日の同期ではデータベースへの 10.000 ～ 50.000 ラウンドトリップがあります。

EF自体またはプロバイダー/拡張機能によって、何らかの方法で挿入/更新/削除コマンドをバッチ処理することは可能ですか?

SAP からの何万ものレコードのフィードを処理する WCF サービスがあります。サービス コールは、XElement をメイン パラメータとして取り、XML を処理してデータベース内のレコードを更新します。現在の目的は、WCF サービスを非同期的に呼び出すことと、サービス呼び出しによって、処理された各レコードのステータスを含む同じドキュメントを呼び出し元に送り返すことです。

また、データの処理をマルチスレッド化する方法も検討していますが、これでは何も買えないかもしれません。

これには時間がかかる可能性があるため、WCF サービスが停止したり、再起動したりした場合にどうなるかが心配です。処理したレコードと処理していないレコードを把握し、処理を完了できるようにする必要があります。残りの記録について。

私が思いついた最善の方法は、各ノードをステータスで更新し (呼び出し元に送り返すために、とにかくこれを行う必要があります)、このファイルをハード ドライブに保存することです。しかし、潜在的に 100,000 倍のサイズのファイルを保存することは、実際には実行可能とは思えません。

これらの記録を処理しながら追跡するために、他にどのような戦略を使用できますか?

ティア！
ジェームズ