問題タブ [gnu-parallel]

シェル スクリプトで複数のスクリーン (コマンド) セッションを並行して実行する必要がありますが、GNU パラレルがスクリーン引数で動作しているようです。例えば：

正常に動作しているため、parallel は両方の引数を date コマンドに渡します。しかし：

両方のコマンドを教えてくれます

よく見ると、「d」引数の前の - が削除されています。多分私は明らかなものを見逃していますか？

次のように、同じ名前で異なるディレクトリに配置されたバイナリファイルをいくつか実行したいと思います。

アプリファイルを同時に実行したい。バイナリ ディレクトリに bash ファイルを作成し、次のコマンドを書きましたが、何も起こりませんでした。

ありがとう。

私の仕事では、数日で数千の映画をエンコードする必要がありました。各ムービーは、3 つの異なる形式でエンコードする必要があります。ここで詳しく説明されているように、 ffmpegを使用して、入力ソースの 1 回の読み取りと並行してこれらの形式を出力します。

さらに、GNU Parallel を使用して、複数のビデオ ファイルから並行してエンコードしています。異なる構成 (48、32、16、および 16 コア) の 4 つのブレード サーバーがビデオを並行してエンコードしています。理想的には、112 本のビデオを並行してエンコードできる必要があります。

ただし、コア数の少ないマシンでは、エンコードがより速く完了するようです。16 コアのサーバーでは約 4 時間で 16 のエンコードが完了しましたが、48 コアのシステムでは 48 のエンコードが完了するまでに 10 時間近くかかります。何がボトルネックになる可能性がありますか? 一般的なエンコード コマンドは次のとおりです。

任意のポインターを高く評価します。ありがとう！

テキスト ファイルに見苦しい JSON オブジェクトのリストが 1 行に 1 つずつあります。それらをうまく印刷して、結果をファイルに送信したいと思います。

json.tool のコマンドライン python バージョンを使用する私の試み:

ただし、python の json.tool が複数の引数としてそれを開こうとしてスローするため、この json の解析で何か問題が発生しているようです。

IOError: [Errno 2] そのようなファイルまたはディレクトリはありません: {一重引用符、スペース、二重引用符を含む行の内容}

行で区切られた各オブジェクトをモジュールへの単一の引数として扱うようにするにはどうすればよいですか? ファイルが巨大であるため、Python でファイルを直接開いてシリアルに処理するのは非効率的なソリューションです。そうしようとすると、CPU が固定されます。

perl スクリプトの使用を並列化しようとしています。perl スクリプトの入力引数と出力引数は、ディレクトリからファイル名を取得します。これは、gnu parallel を使用すると簡単です。

ただし、スクリプトの追加の引数では、各ファイルから最初の行と最後の行、2 番目の列の値を取得する必要があります...

ここで、{1} と {2} は、これらの値を取得するために awk または sed を以前/同時に使用した結果です。たとえば、

しかし、この awk のようなステップを「ワークフロー」のどこに配置すれば (どのように配置すればよいでしょうか)、perl スクリプトがそれを使用できるようになりますか?

見つめている

xargs (または GNU Parallel) の引数のテキストを変更します。

正しいアプローチは単にこれを行うことですか？

ありがとうございました。