問題タブ [gnu-parallel]

リモートマシンでいくつかのパラメーターを使用してスクリプトを実行するために、GNU Parallel を使用しようとしています。これは次のようになります。

/shared/location/script.shgitを使用しています。だから私はこのエラーが発生します：

remote-machine手動でログインして実行する/shared/location/script.shと、param_aまたはparam_bすべてが正常に動作します。remote-machineそこで、$PATH 変数を調べたところ、GNU 並列を使用して何かを実行すると、 PATH=/usr/bin:/bin:/usr/sbin:/sbin. マシンから直接実行すると、/local/bin/git.

その理由と克服方法は？

前もって感謝します

私はGNU Parallel totorialに取り組んでいます。「複数の引数」セクションには、次の例があります (注: num30000 は、連続した行に 1 から 30,000 までの番号を持つテキスト ファイルです)。

並列処理を向上させるために、GNU Parallel は、ファイルの終わりに達したときに、すべての並列ジョブ間で引数を分散できます。

4 つのジョブを並行して実行すると、引数の最後の行が 4 つのジョブに分割され、合計 5 つのジョブになります。

出力：

私の質問は、なぜ合計 5 つのジョブが必要なのですか? 重要かどうかはわかりませんが、明らかにポイントがありません。30,000 は 4 で割り切れるので、4 つのジョブを期待していました。次のコマンドを実行した後、この質問を投稿することにしました。

その結果:

echoこれは、最初のコマンドに最初の 23,695 個の引数が渡されるように見えます。次に、残りのジョブは、引数カウントが 1577、1577、1577、および 1574 の 4 つのジョブに分割されます。ありがとうございました！

私は GNU Parallel が好きで、ページネーションに使用しようとしましたが、うまく機能させるには助けが必要です。基本的に、Quickblox API ガイドのユース ケースに従ってデータを取得しています。

http://quickblox.com/developers/Custom_Objects#Get_related_records

取得できるレコードの最大数は 1 ページあたり 100 で、一度に取得できるのは 1 ページのみです。これらは -d パラメータで指定されます。GNU Parallel を使用して 1..79 ページを取得したいと考えています。

多くの異なる値をとるパラメーターがあるが、私の場合にうまく適応させることができなかったときに GNU Parallel を使用する方法を説明するスレッドを見つけました。

GNU Parallel - シリアル コマンド ライン プログラムを変更せずに並列化する

あなたの助けは大歓迎です!

次の gnu 並列コマンドで N 個のジョブを実行しているとします。

parallel を呼び出して、実行中のすべてのジョブを強制終了し、いずれかが終了するとすぐに受け入れないようにするにはどうすればよいですか?

Rubyスクリプトを使用して解析したい同一のベース名を持つ2つのファイルがあり、これが機能するファイルのペアが1つだけのライブラリにあります。

parallel -j 4 "prodigal_pfam_merger.rb {1} {2} > {1}.final.gff" ::: *.gff.parsed ::: *.domtblout.parsed

ただし、Parallel が入力ソースのすべての組み合わせを提供することを考えると、これは複数のファイル セットを操作する場合には機能しません。必要なのは、共有ベース ファイル名との組み合わせだけです。2 つの拡張子 ({.} または {..} の 2 回) を削除できる場合は、次のようにします。

parallel -j 4 "prodigal_pfam_merger.rb {} {..}.domtblout.parsed > {}.final.gff" ::: *.gff.parsed

はい、Ole Tange、私はあなたを見ています;-)

次のスニペットを並列化するために gnu-parallel を使用したいと思います

これは次のようなものを使用して達成することは可能ですか

上記の構文は機能しません。

動機：

ここで説明されているように、クラスターに多数のジョブを送信するために並列を使用したいと思います http://docs.rcc.uchicago.edu/software/scheduler/parallel/README.html

私の古いマシンで、gnu 並列バージョン 20121122 を使用した後、

デバッグ目的で非常に便利な、実行中のジョブの出力が表示されます。

パラレル バージョン 20140122 を搭載した新しいマシンで、上記のコマンドを実行しますが、ターミナルには何も表示されません。

別の SO スレッドから、問題を修正するフラグについて知りました--tollefが、すぐに廃止される予定です。--tollefフラグの廃止後も機能し続けるにはどうすればよいですか?

このコマンドで正常に検索しています:ips.txtログ ディレクトリ (圧縮ファイル) の txt ファイルから疑わしい IP のリストを検索します。

検索を高速化するために、それと並行して使用したいと思います。現時点では、正しい引数を見つけることができません。つまり、パターン ファイル (1 行に 1 つ) を使用し、それを結果ファイルにエクスポートします。

それのためのパラレルグルはいますか？

私が見つけたより近いコマンドはこれでした： grep-or-anything-else-many-files-with-multiprocessor-power

しかし、パターンのファイルリストでそれを使用し、結果をファイルにエクスポートすることもできませんでした...

助けてください、ありがとう。

awkコマンドをシェルスクリプトとして使用してテキストファイルを処理しようとしてparallelいますが、各ジョブを別のファイルに出力することができませんでした

私が試してみると：

、などfile{}.outの代わりにファイルに出力します。file1.outfile2.out

チュートリアルとマニュアルページでも、 を使用できることが示唆されています--filesが、次のように出力されstdoutます。

GNU 並列を使用して、次のような一連のコマンドを実行したいと考えています。

したがって、この質問 ( if else または switch または while ループを使用せずに bash を使用して、現在の年の各月の最終日を取得する方法は? ) は、bash を使用して各月の最終日を取得する方法を示しています。

複数の引数を並行して渡す方法については、シェルスクリプトを繰り返し実行して開始/終了日を生成することになると思いますが、明確ではありません。

コマンドラインからこれを簡単に行う方法はありますか、それとも最初にすべての日付を生成し、並行して読み取るためにファイルに入れる必要がありますか、それともより良い方法がありますか?