問題タブ [line-by-line]

Pythonで行ごとのフィルターを作成しようとしています。ただし、stdin.readlines()処理を開始する前にすべての行を読み込み、python がメモリ不足になります ( MemoryError)。

一度に 1 行だけメモリに入れるにはどうすればよいですか?

私が持っているコードの種類:

（注：私は2.6を使用しています）

私はコードのプロファイリングにcProfileを使用してきましたが、うまく機能しています。また、gprof2dot.pyを使用して結果を視覚化します（少し明確にします）。

ただし、cProfile（およびこれまでに見た他のほとんどのPythonプロファイラー）は、関数呼び出しレベルでのみプロファイリングするようです。これは、特定の関数が異なる場所から呼び出されるときに混乱を引き起こします-呼び出し＃1または呼び出し＃2が大部分の時間を占めているかどうかはわかりません。問題の関数が他の7つの場所から呼び出され、6レベルの深さである場合、これはさらに悪化します。

行ごとのプロファイリングを取得するにはどうすればよいですか？

これの代わりに：

私はこのようなものを見たいです：

cProfileは、合計時間のどれだけが親に「転送」されるかを示しますが、多数のレイヤーと相互接続された呼び出しがある場合、この接続は失われます。

理想的には、データを解析し、各行に与えられた合計時間を含むソースファイルを表示するGUIが必要です。このようなもの：

次に、2番目の「func（c）」呼び出しをクリックして、「func（a）」呼び出しとは別に、その呼び出しで何が時間を取っているかを確認できます。それは理にかなっていますか？

これらの数字は正確には何を意味するのでしょうか? 行がヒットした回数は？呼び出しあたりのマイクロ秒? または何？

また、数字の後ろにある「プログレスバー」は何を意味していますか? 数に比例すらしないので、本当に混乱しています。

perlでは<FileDescriptor>、ファイルからilneによってデータ行を読み取るために使用します。antスクリプトを使用して同じことを行う方法。

標準入力からCSVファイルを読み取り、各行を処理します。CSV出力コードは行を1つずつ書き込みますが、リーダーはストリームが終了するのを待ってから行を繰り返します。csvこれはモジュールの制限ですか？私は何か間違ったことをしていますか？

私のリーダーコード：

私のライターコード：

の出力python test_writer.py | python test_reader.py：

ご覧のとおり、すべてのprintステートメントが同時に実行されますが、500ミリ秒のギャップがあると思います。

おおよそ次のような構造の約 70,000 レコードを含むファイルがあります。

EDIT 1: したがって、すべてのレコードは数字の列で始まり、空白行で終わります。ほとんどのレコードには、この空白行の前に+Fieldname5と 1 つ以上の-Content行があります。

私がやりたいことは、最後のフィールド (この場合は Fieldname5) に関連するものを除いて、先頭のマイナス文字をスペースに置き換えながら、すべての複数行エントリを 1 行にマージすることです。

次のようになります。

私が今持っているのはこれです（この回答から適応）：

しかし、これには2つの問題があります:

• 結合された行を正しく印刷しますが、それでも2行目を印刷します。

  +Fieldname2 -コンテンツ コンテンツ コンテンツ -コンテンツ

では、スクリプトが結合された行のみを出力するようにするにはどうすればよいでしょうか?

• 一度に 2 行でしか機能しませんが、複数行のエントリの中には最大 40 行まであるものもあります。

編集2:私の質問は、次のことを行う方法です:

1. ファイルを 1 行ずつ読み込み、出力ファイルに書き込みます
2. 複数行のセクションが表示された場合は、指定されたフィールド名 (例: ) に属している場合を除き\n-、一度に読み取って処理し、 に置き換えます。Fieldname5
3. 別の複数行ブロックが表示されるまで、各行の読み取りと書き込みに戻ります

編集3： うまくいきました！最初に別の条件を追加しました: use strict; 警告を使用します。

やらなければならない汚い仕事があるので、Bashスクリプトは良い選択のようです。私はBashを初めて使用しますが、その経験は私を少し苛立たせます。

ファイルmapfiles.txtは、次の行で構成されています。各行には、空白で区切られた4つのセグメントがあります。各セグメントは、外部プログラム名「prog」への入力パラメーターを表します。たとえば、「cm19_1.png」はファイル名、「0001」はインデックス、「121422481」は経度、「31035995」は緯度です。

ファイル：mapfiles.txt

各行に同様のコマンドを実行したい。以下に示すように、progの入力パラメーターの順序は少し異なります。したがって、繰り返される作業を処理するためにbashスクリプトを作成することは理にかなっています。

通常、bashスクリプトは次のように動作します。

1. mapfiles.txtから1行を読み取ります
2. セグメントを分割する
3. 正しいパラメータ順序でprogを呼び出します

これがrun.shです。

私が期待したのは

私が得た実際の結果は

私を混乱させた問題

1. 'prog'はどこにありますか？
2. 空白はどこにありますか？
3. パラメータの順序の何が問題になっていますか？

うーん…このスクリプトをMacでvimを使用して作成し、ScientificLinuxボックスとgentooボックスにコピーしました。これらの3人は同じばかげた出力を取得します。

私はファイルから行ごとに読んでいて、読んだ行のいくつかを編集したい..編集したい行には、その上または下に他の特定の行が必要ですが、C＃でそれを表現する方法がわかりません. 例えば：

次の行が次の場合にのみ行を編集したい

前の行は

したがって、上記の例から編集したい唯一の行は

何か案は？

javascriptまたはjqueryを使用して巨大なテキストファイルを1行ずつ読み取るにはどうすればよいですか? 多くのメモリが必要になるため、すべてを読み取って配列に分割することはできません。ストリーミングしたいだけ...

編集メモとして、私はGoogle Chrome拡張機能に取り組んでいるため、fso ActiveXを使用したソリューションはこのブラウザーでは機能しません。他のアイデアはありますか？

XSLTに、ある要素のテキストを1行ずつ取得して、その行に何かを適用する方法があるかどうかを尋ねたいと思います。たとえば、私は持っています

行ごとに、すべての行の前に空白（角かっこ、ハイフンなど）を入れたいと思います。

助けてくれてありがとう:-)