list - bash：/ bin / ls：引数リストが長すぎます

Question

以下のような多数のファイル（40,000ファイル）のリストを作成する必要があります。

ERR001268_1_100.fastq  ERR001268_2_156.fastq  ERR001753_2_78.fastq
ERR001268_1_101.fastq  ERR001268_2_157.fastq  ERR001753_2_79.fastq
ERR001268_1_102.fastq  ERR001268_2_158.fastq  ERR001753_2_7.fastq
ERR001268_1_103.fastq  ERR001268_2_159.fastq  ERR001753_2_80.fastq

私のコマンドは次のとおりです。ls ERR*_1_*.fastq |sed 's/\.fastq//g'|sort -n > masterlist ただし、エラーは次のとおりです。bash: /bin/ls: Argument list too long

しかし、私はこの問題を解決できますか？perl / pythonでこのようなリストを作成する他の方法はありますか？

どうも

Answer 1

ls ERR*_1_*.fastqに置き換えることができるはずですfind . -name "ERR*_1_*.fastq"。
このようにして、ワイルドカードが巨大な引数リストに展開されるのを避けることができます。

（find出力には先頭の「./」が含まれます./ERR001268_1_100.fastq。たとえば、それが望ましくない場合sedは、パイプラインの後半で別のコマンドを使用して削除できます。）

Answer 2

ファイルがすべてディレクトリ内にすでに存在する場合、Pythonの「glob」モジュールにはbashのコマンドラインよりも高い制限がある可能性があります。

コマンドラインから：

python -c "import glob; print glob.glob('ERR_*_1_*.fastq')"

Pythonですべてを行うには、次のような方法を試すことができます。

import glob
files = glob.glob("ERR_*_1_*.fastq")
trimmedfiles = [x.replace(".fastq","") for x in files]
trimmedfiles.sort()
for f in trimmedfiles:
    print f

このソリューションは、ファイルを数値ではなくアルファベット順に並べ替えます。そのためには、sort（）メソッドにkey=lambdaマジックを追加することをお勧めします。

trimmedfiles.sort(key=lambda f: int(f.split("_")[2]))

Answer 3

検索はあなたを助けるかもしれません-むしろlsは使用しますfind . -name 'yourpatternhere' -print0 | xargs -0 youractionhere

Answer 4

を使用できますfind。

例：

find /Users/kunlun/Downloads/fu_neg/ -name "*.png" > 
/Users/kunlun/Downloads/fu_neg.txt