問題タブ [batch-processing]

私は次のことをしようとしています：

$ OOOPYTHON DocumentConverter.py .odt .pdf

特定のドキュメントにあるすべてのODTファイルについて、すべてのodtsをpdfに変換するための正しい構文を探しています。

ありがとう！ジェイク

私のウェブサイトのページ全体にたくさんの HTML コードがあり、すべてのタグとその属性が CAPS で書かれているため、見た目が好きではありません。他にも多くの矛盾や不十分なコーディングがあります。各ファイルを手動でステップ実行することなく、サイト全体のすべてのタグを比較的簡単に変換できるツールまたはマクロはありますか?

一部のコードは、PHP ページにも埋め込まれています。

ソースコードの例:

出力コードの例:

バッチスクリプトを使用して、一連のディレクトリから1つまたは2つの特定のファイルをコピーしようとしています(したがって、*を使用したくない/使用できない理由)、あるディレクトリから別のディレクトリにコピーしようとしています。

基本的に、「ルートディレクトリ」に移動し、そのリストからすべてのサブディレクトリを使用dir /AD-H /Bしcdて、それらの各ディレクトリとxcopy /y、変数に保存したディレクトリに移動します。

Web で見つけたいくつかの例を試してみましたが、それらを変更したところ、スイッチを適切に処理できませんでした。

ありがとう

多数のファイルを処理したいのですが、すべてを FLV 形式に変換する必要がある youtube のようなビデオ トランスコーディングや、大きな RAW ファイルからサムを作成する画像処理を考えてみてください。

そのような処理に役立つサービスやライブラリはありますか? 実際のコード変換という意味ではありませんが、タスクの整理、起動、監視、エラーの処理などです。

理想的にはWindowsですが、Linuxでも問題ありません。

更新:より高いレベルでそのようなタスクを処理するには、utility/lib が必要です。複数のプロセスをディスパッチし、何らかの形で障害を処理して報告します。

したがって、トランスコーディングの場合、そのような lib/utility でトランスコードするファイルのリストを取得してから、複数のスレッド/プロセスでのトランスコーディングの開始を処理する必要があります。タスクが正常に完了したときに何をすべきかを定義できます。また、障害が発生した場合にもこれを行うことができます。

バッチ モードで openoffice を実行して .doc ファイルを pdf に変換する必要がありますが、X サーバーが必要なため、openoffice が起動しません。私のLinuxボックスにはありません。

私が使用できるダミーのブラックホール X サーバーはありますか?

私はdebian etchを使用しています。

サービスを使用して情報を返す大規模な Java Web アプリケーションを使用しています。私の主な目標は、100 以上の個々の結果をできるだけ早く取得することです。情報のリクエストを 100 回以上送信しても、データの返信で最高のパフォーマンスが得られないことに気付きました。私たちの解決策は、100 件以上のリクエストを小さなバッチ (~15,25) に分割し、すべてが受信されたらそれらを組み立てることでした。

アプリケーションからサービスに 1、50、または 200 のリクエストを作成し、アプリケーションに情報を戻し、さらにリクエストがある場合は別のバッチを実行するという Java の提案を探しています。リクエストが残っていない場合は、リストに集めて、その完全なリストを返します。

フォームの提案は大歓迎です、ありがとう。

すぐ下のサブディレクトリにあるすべての *.csv ファイルを、現在のディレクトリにある 1 つのテキスト ファイルに追加するバッチ ファイルを書き込もうとしています。

さまざまな情報源から、このコードをつなぎ合わせることができました。これは、現在のディレクトリ内のファイルでは正常に機能しますが、サブディレクトリでは機能しません

ワイルドカードを使用してさまざまなアプローチを試みましたが、成功しなかったため、誰かがこれを手伝ってくれたら非常に感謝しています。

ビューから入力する必要があるいくつかの大きなテーブル (188m 行と 144m 行) がありますが、各ビューには数億行が含まれています (疑似次元でモデル化されたデータをフラットな形式にまとめます)。各テーブルのキーは、列の複合バイトが 50 を超えています。データがテーブルにある場合は、sp_rename を使用して別の新しいテーブルを作成することをいつでも考えることができますが、それは実際にはオプションではありません。

単一の INSERT 操作を行うと、そのプロセスは膨大な量のトランザクション ログ スペースを使用し、通常はファイルを作成し、DBA に多くの面倒を引き起こします。(もちろん、これはおそらく DBA が処理/設計/アーキテクトするべき仕事です)

SSIS を使用して、バッチ コミットを使用して宛先テーブルにデータをストリーミングできます (ただし、サーバー上で SSIS パッケージを実行することは許可されていないため、データをネットワーク経由で送信する必要があります)。

プロセスを複数の INSERT 操作に分割して、何らかのキーを使用して行を異なるバッチに分散し、ループを実行する以外に何かありますか?

大量のデータを処理してデータベースに挿入する準備をするために、一連のシェルスクリプトを生成します。それぞれに約15行あり、データが送信されるテーブルごとに1つずつあります。最近のインポートバッチの1つで、一部のインポートファイルが1つの特定のテーブルに入ることができませんでした。したがって、最初の7行をコメントアウトしてからファイルを再実行する必要がある一連のシェルスクリプト（約600）があります。このフォルダには約6000個のシェルスクリプトがあり、特定のファイルについては、編集が必要かどうかはわかりません。データベース出力から取得したファイルのリストがあります。

では、このファイル名のリストを取得し、それぞれについて最初の7行をコメントアウトしてスクリプトを実行するために、bashスクリプト（またはより適切に機能する他のスクリプト）を作成するにはどうすればよいですか？

編集：

それがどれほど読みやすいかわからない。基本的に、最初の7行（最初の行は数えません）には、先頭に＃を追加する必要があります。注：ファイルは、各行を短くし、VIMからのコピーを部分的にカットするように編集されています。ただし、各ファイルの主要部分には、echoで始まる行があり、次にsqlldrで始まる行があります。

一部の情報をデータベースから外部ファイルに移動するバッチ プロセスを作成しています。このタスクは簡単に処理できますが、処理する必要があるデータが大量にあり、おそらく 1 か月ほどかかるでしょう。

今月中には新しい情報が継続的にアップロードされます。バッチ処理を行ってから、新しいレコードに戻って処理する方法はありますか (バッチ処理が行われている間、アップロード システムをオフにすることはできません)。

特定の日付までのバッチ処理の大部分は、バッチ処理全体の約 95% になる可能性があると考えていました。残りの 5% は、入力された新しいレコードであり、それらを処理しますか? 何かご意見は？